“如今皇上昏昧，民生困窘，咱們晉陽城外就是戰場，每天廝殺來廝殺去，我們即使有心改善百姓的生活，也無法在這兵荒馬亂的時候實施，所以我認為隻有順從民意，發動義兵，才是最好的方法，您說對不對？”李世民積極地遊說父親。
李淵聽後大怒，忙把李世民關在房裏不讓他出來。但是李淵不禁想起當年那位奇異書生的話。再有，這回突厥來侵犯邊境，李淵因兵少不幸戰敗，朝廷方麵不聽解釋，曾經要派人押解李淵到江都問罪，幸虧得人解勸，隋煬帝才收回成命，不再追究。李淵想了一夜，終於同意起兵了。這一年，李世民年僅二十歲。
大業十三年（617年），李淵尊隋煬帝為太上皇，輔持當時留守長安的代王侑（隋煬帝之孫）為帝，傳送檄文到各郡縣。古代社會臣子反叛是極大的惡名，因此李淵父子不得不找一個合理的借口起兵。他們以“廢昏立明”為口號發動起義，李氏大軍浩浩****地向長安開去。起義的第三天，就把太原外圍的幾個郡縣都攻下來了。
當時隋朝邊境最強大的敵人就是突厥，為求得援助，李淵特派劉文靜前去交涉，並表示必要時即使稱臣也無所謂。有計謀有遠見的李淵認為大丈夫能屈能伸，不要為一點小事而壞了大局。突厥人喜愛財物，就向他們承諾，成了大業後，一定會送很多金銀給他們。如果財物打動不了他們，必要時也可向他們稱臣。
劉文靜果然不負眾望，不但使突厥首領始畢可汗立即派遣兩千騎兵增援，並且贈送戰馬千匹。
李氏大軍分幾路攻至霍邑城下時，代王派宋老生率兩萬精兵進行抵抗。隋將宋老生是個比較有謀略的人。他知道霍邑城非常堅固，城內存有豐足的糧食，難以硬攻。他想出“避不迎戰”的計策，下令緊關城門，閉不出戰，決心以死守來拖垮城外存糧不多的李家軍。