李淵其人“素懷濟世之略，有經綸天下之心”。他老沉持重，滿腹韜略，而富於策略手段。
為了激發民眾反隋情緒以便起兵，李淵先指使劉文靜偽造隋煬帝詔令：“發太原、西河、雁門、馬邑人年二十已上，五十已下悉為兵，期以歲暮集涿郡，將伐遼東。”這一招效果極佳，立即“人情大擾，思亂者益眾”。這就為李淵亂中起兵創造了極為有利的條件。
由於劉武周引突厥兵進逼太原，又為李淵聚集兵眾提供了借口，李淵即以討伐劉武周為名，自行募兵。太原副留守王威和高君雅迫於危險的時局，及隋煬帝遙遠無法請示，認為李淵“地兼親貴，同國休戚”,也就沒有提出異議，李淵迅速募得私兵萬餘人。他又遣使者召滯留在河北的兒子李建成、李元吉赴太原，共舉大事，並派人往長安觀覘動靜。
然而，王威、高君雅既受隋煬帝委派，負有監視和牽製李淵的使命，李淵矯詔聚兵的舉動，自然最終躲不過二人的眼睛，特別是矯詔事關重大，終於暴露。於是二人便暗中策劃用晉祠祈雨大會，誘殺李淵，卻又被鄉長劉世龍探知告發，李淵於是決定先發製人，在大業十三年(617)五月癸亥(十四日)誅殺了王威、高君雅兩個副留守，控製了太原城。
李淵公開舉起了義旗，但老謀深算的他並沒有打出反隋旗號。他的目標是以太原為基地，盡快乘虛入關，襲占長安，號令天下，取楊隋而代之，化家為國。六月己卯(初一),李建成、李元吉兄弟趕到太原。
李淵向附近郡縣傳檄，唯西河郡(治今山西汾陽縣)丞高德儒不從命，六月甲申(初五),李淵派李建成、李世民率兵圍攻西河，二公子身先士卒，不日將城攻拔，逮高德儒於軍門。二位公子往返共九天回到太原，對此，李淵十分高興，於是定計襲奪關中。這時遼山縣令高斌廉已遣使間行往江都，向隋煬帝奏告李淵叛變，隋煬帝得訊又氣又懼，乃敕東都、西京“嚴為備禦”。