公元611—614 年，隋煬帝連續對外發動了三次戰爭，讓自己的子民陷入水深火熱之中。百姓們為了逃避沉重的兵役、徭役，甚至不惜剁掉自己的手腳。一時間，隋朝天下民不聊生。也正是在這樣的情況下，李淵順應天命，起兵反隋。
心存不臣
李淵出身官宦，其母是獨孤皇後的妹妹，因此他七歲便襲爵唐公位，深受皇室信任。公元613 年，楊玄感興兵造反。楊廣遂命李淵前去征討，並指派李淵統領關隴兵馬。如此一來，李淵的勢力日益增長起來。然而楊廣其人疑心頗重，極易猜忌權勢過大的臣子，常常尋借口滅之。權勢日益膨脹的李淵自然也不能幸免，楊廣曾一度有意殺之。李淵聞聽消息後，心中十分惶恐，便假裝沉迷酒色，希望能打消楊廣的疑慮。公元617 年年初，楊廣將李淵調離京城，讓李淵到太原任留守，並派眼線虎賁郎將王威、虎牙郎將高君雅進行監視。
那時，李淵與時任晉陽宮宮監的裴寂十分投緣，常常在晉陽宮內一同飲酒聊天。裴寂還總是挑選一些宮女前去服侍李淵，以此討好他，李淵也樂得接受。畢竟太原與京城相離甚遠，像這等違法的小事遮掩起來也還算容易。一日，裴寂突然主動對李淵道：“這事若是捅出去，可是死罪，與其到時候東窗事發被殺，還不如就此起兵反了。”接著，裴寂又向李淵說了一個造反的計劃。
事實上，裴寂會說出這樣的話，是因為李世民賄賂於他，讓他慫恿李淵造反。李淵掂量許久，發現自己確實退無可退，便隻能默認了他們的計劃。
借機起事
其實，李淵早就有了反意，隻是他心思縝密，一直在等待一個合適的時機。而眼下劉武周起事，進攻汾陽宮。李淵隨即號召部將道：“如今我任太原留守，汾陽宮自然也屬於我的管轄範圍。