劉茂在長安之時，有一個少年英雄前來投奔，此人叫做第五倫，字伯魚，是京兆郡長陵縣人，他的祖上是齊國田氏，因為田氏遷到五陵的人比較多，所以便以次第為姓，姓第五。
第五倫有武勇，好義氣，新莽末年，盜賊四起，第五倫聚眾自保，宗族鄉親爭著依附他。他在險要之處修築堡壘，賊人來後，第五倫便率眾引弓持矛堅守自衛。
建世帝入主長安，第五倫率眾歸附，被任命為縣尉，他所管轄的地區，百姓夜不閉戶，盜賊不敢出沒。
第五倫胸懷大誌，不甘心在鄉中蹉跎，便到長安投奔了河間王劉茂。
劉茂很欣賞他的才能，就在出關時命第五倫隨行，第五倫道：“宗族尚有許多子弟，欲從大王建功立業，願回鄉召之。”劉茂準許，讓他隨羽林軍一道出關。
第五倫回鄉，召集了子弟兵一千人，都是勇悍之士，他帶著這一千人出了關，追隨劉茂來到洛陽。
如今見敵軍大搖大擺地從洛陽城外經過，而洛陽將領竟然主張關閉城門，任其自去。第五倫大怒，挺身而出道：“洛陽城的兵馬比百姓還要多，朝廷花費錢糧巨萬，就是要我們坐在城中看敵軍任意來去，恥笑我等嗎？諸君身為將領，難道不覺得羞恥嗎？”
聽了這話，以蘇茂為首的洛陽諸將臉上全都變了色，有的羞愧不已，垂頭不語。有脾氣火爆的就要上前與第五倫理論廝打。
第五倫道：“有這個力氣，不如留著上陣殺敵！大王，末將願帶宗族子弟一千人，為大軍前鋒，寧戰死於洛陽城下，也斷不做貪生怕死之徒！”
劉茂讚歎道：“壯哉，此壯士也！”
當即下令出戰，以第五倫帶領三千人為大軍前鋒，又以鎮東將軍王虎率軍一萬在其後。這兩隊人是以長安來的士卒為主，夾雜部分洛陽銳卒，明顯是此次戰鬥的主力部隊。