王霸,字元伯,颍川颍阳人。王霸出生于一个世代司法官吏的家庭,本人“亦少为狱吏”。在刘秀兵过颍阳时,他率宾客投到刘秀的帐下;昆阳大战后,“还休乡里”。听说刘秀担任司隶校尉,北上道经颍阳,王霸动员父亲和自己一起追随刘秀。其父说“吾老矣,不任军旅,汝往,勉之”,王霸就这样跟从刘秀到了洛阳,成为刘秀的亲信之一。
当刘秀被任命为大司马,即“以霸为功曹令史,从度河北”。最开始,“宾客从霸者数十人”,但慢慢地宾客们都一个一个地离去。刘秀看到发生的这一切,颇有感慨地对王霸说“颍川从我者皆逝,而子独留。努力!疾风知劲草”。刘秀从洛阳出发北渡黄河,时在更始元年十月。这已经进入冬季,冒着凛冽的寒风上路,对任何人来说都是一件苦事,但刘秀的心里却有说不出的高兴。他终于度过了哥哥刘縯被杀后的最困难那一个阶段,从此就能摆脱更始帝及其他反对者的监控,而去走自己想走的路了。当然,精明的刘秀也非常清楚,此时更始政权正到了发展的巅峰,而自己周围虽有若干忠实的追随者,但毕竟现在还不具备独立发展的实力,他还需要利用更始帝这块招牌继续为自己服务。