李淵大軍圍困長安已經月餘，時序進入十月，已是深秋，遠山紅葉盡掛，近處樹草逐漸變成枯黃。其間，李淵多次派人進城，致書說明自己得長安後仍尊隋為大統，但朝廷不予理睬。二十七日，李淵下令攻城。此時的長安，守備空虛，左翊衛將軍陰世師、京兆郡丞骨儀雖組織人馬左抵右擋，但捉襟見肘，自感乏力。不到五個時辰，李淵大軍在城牆多處打開缺口，兵士如潮水般擁入城內。統軍孫華身先士卒率先登上城牆，不幸中箭身亡。
李淵入城後，尊楊廣為太上皇，立代王楊侑為皇帝，改年號為義寧元年。隨後李淵讓楊侑頒發詔書，以武德殿為大丞相府，詔李淵為假黃鉞、使持節、大都督內外諸軍事、尚書令、大丞相，晉封唐王。凡軍國機務，事無大小，文武設官，位無貴賤，憲章賞罰，都歸相府。隻有郊祀天地時才奏聞楊侑。
李淵封李建成為唐世子，李世民為秦公、京兆尹，李元吉為齊公，裴寂為長史，劉文靜為司馬。他一邊大舉封官，一邊對那些頑固對抗自己且沒有使用價值的人大加清除，入城不久，便下令將陰世師、骨儀在街心斬首。曾刨了自己祖墳、毀了李氏家族宗廟的衛文升雖已病死，李淵也不肯放過他，下令將他從墳墓中扒出來，曝露三天，鞭屍三百以泄其憤。
這天，李淵在武德殿處理政務，忽然想起李靖來，問裴寂道：“裴監，我記得李靖好像沒有逃出長安，他現在什麽地方？”
裴寂答道：“稟大丞相，那李靖大膽得很呢，知道我們入了長安，他竟然敢在大街上搖來擺去，讓我當即逮進牢裏去了。”李世民進入長安後曾讓房玄齡找過李靖，但晚了一步，已經先讓裴寂抓進了牢裏。
李淵憤憤說道：“裴監，你幹得好。這個不知道好歹的李靖，竟然想壞我的大事。來人，拿我的手令，將李靖帶過來。”