李密接連慘敗，部眾越來越少，便想逃往黎陽據守。當時鎮守黎陽的人是徐世勣，有人就對李密說：“當初殺翟讓之際，徐世勣差點被砍死，聽說內傷到現在還沒有治好。您率領敗軍去黎陽，萬一徐世勣居心不良，您就很危險了。”李密一聽有理，放棄了北奔黎陽的打算。
瓦崗軍的王伯當正率部駐守河陽，李密就渡過黃河來到河陽。
李密此時的情緒很差，對王伯當說：“兵敗了！這麽多年來，辛苦諸君了。我今日自刎，以謝眾人。”部下都哭成一團，不敢正視李密。李密提不起自殺的勇氣，又改口說：“感謝諸君一直跟隨我，我這就去關中。雖然我沒有尺寸之功，心懷愧疚，但投降李淵，諸君還能保住富貴。”部下府掾柳燮表示讚同，說：“昔日劉盆子投降東漢，安享晚年。李公您與唐朝皇室宗族有關聯，雖然不是唐朝起義人員，但是在東都洛陽纏住了隋朝的主力部隊，為唐公李淵不戰而據京師建立了大功。”眾人也都表示同意。於是，李密率部西入關中，投降唐朝。李密入關之時，周邊尚且聚集了兩萬精兵和諸多文臣武將，勢力不容小覷。這是一支龐大的投降隊伍。李淵對李密主動投降，大喜過望，親自率領文武百官出城相迎，慰勞再三，封李密為邢國公，拜光祿卿。
李密降唐後，黎陽的徐世勣成為關東瓦崗軍殘餘勢力的首領。瓦崗軍的殘部還控製著南起淮河、北到河北、東起黃河、西至洛陽的廣大地盤，部隊不下十萬人。這些領土和軍隊都聽從徐世勣的指揮。徐世勣麵臨著重大選擇——既可以取代李密成為一方梟雄，也可以將地盤和軍隊作為籌碼，投靠唐朝換取富貴。他對部下說：“這些人口、土地都是魏國公（李密）的，我奉命把守而已。魏國公現已降唐了，我們也應該降唐。”