王霸，字元伯，颍川颍阳人。王霸出生于一个世代司法官吏的家庭，本人“亦少为狱吏”。在刘秀兵过颍阳时，他率宾客投到刘秀的帐下；昆阳大战后，“还休乡里”。听说刘秀担任司隶校尉，北上道经颍阳，王霸动员父亲和自己一起追随刘秀。其父说“吾老矣，不任军旅，汝往，勉之”,王霸就这样跟从刘秀到了洛阳，成为刘秀的亲信之一。
当刘秀被任命为大司马，即“以霸为功曹令史，从度河北”。最开始，“宾客从霸者数十人”,但慢慢地宾客们都一个一个地离去。刘秀看到发生的这一切，颇有感慨地对王霸说“颍川从我者皆逝，而子独留。努力!疾风知劲草”。刘秀从洛阳出发北渡黄河，时在更始元年十月。这已经进入冬季，冒着凛冽的寒风上路，对任何人来说都是一件苦事，但刘秀的心里却有说不出的高兴。他终于度过了哥哥刘縯被杀后的最困难那一个阶段，从此就能摆脱更始帝及其他反对者的监控，而去走自己想走的路了。当然，精明的刘秀也非常清楚，此时更始政权正到了发展的巅峰，而自己周围虽有若干忠实的追随者，但毕竟现在还不具备独立发展的实力，他还需要利用更始帝这块招牌继续为自己服务。