大業七年（611年），也就是隋煬帝親征高麗的那一年，大規模的叛亂開始了。由於近半世紀以來少有大的戰亂，人民都習慣於安居樂業的生活。山東、河北一帶的許多壯丁突然被強拉去攻打與自己毫無仇怨的國家，他們根本不願意。這些征夫紛紛尋找各種機會逃走，有的潛逃到山川林澤，最後甚至聚眾抗命。隋煬帝處理叛亂的方法就是殺無赦。在這種高壓政策下，反正都是死路一條，他們隻有鋌而走險、冒死一拚了。起義的風聲越來越大，全國形成割據分裂的局麵。
當時隻要有點領導才能的人都招兵買馬、擁兵據地，自立為王。所以不到三年時間，據地稱王的人不下數百。其中勢力比較大的有河北的竇建德，山東的徐圓朗，河南的李密、王世充，河東的劉武周，江淮的李子通、杜伏威、沈法興，江西的林世弘，荊湘的蕭銑，西北的梁師都、郭子和、薛舉、李軌。天下已經被分裂了，李世民問父親是不是也應該起兵？李淵痛斥了他一番，堅持為人臣子，不管皇帝是不是好皇帝，都應該為皇上效命。李世民隻得遵從父親的話。
大業十一年（615年），動亂的局勢日益嚴重，隋朝的政權已經風雨飄搖了。昏庸的隋煬帝為了炫耀國威，親率大隊人馬到北方視察。突厥的酋長始畢可汗早就了解到，隋朝的軍隊毫無鬥誌、不堪一擊。當隋煬帝軍隊到達雁門關時，始畢可汗率領數十萬強悍的騎兵前去襲擊，果然輕而易舉地將隋煬帝及其帶領的大隊人馬困在雁門關。朝廷急忙向全國各地征募勇士，組成敢死隊，去解救被困的隋煬帝。
當征兵的消息傳到太原後，李世民立刻奔進府中向父親請求讓他加入雲定興的軍中，打退夷兵救出隋煬帝。
李淵想了一會兒，覺得兒子能有這樣遠大的誌向是一件很難得的事，而且這也是立功成名的好機會，就答應了。