大業十三年（公元617年）六月初五，以李淵為首的政治軍事集團正式在太原起兵。
隋亡唐興的曆史大幕就此拉開。
李淵集團的戰略目標非常明確，就是直取隋帝國的政治心髒——西京長安。
要進軍長安，首先必須攻克西河郡（今山西汾陽市）。
李淵把這個首戰的任務交給了李建成和李世民兄弟。初出茅廬的李氏兄弟不負眾望，輕而易舉地拿下了西河郡，輕鬆漂亮地完成了他們軍事生涯的處女作。軍隊凱旋後，屈指一算，前後僅曆時九天。李淵大喜過望地說：“如此用兵，足以橫行天下了！”
首戰告捷。李淵更加堅定了南下關中、西取長安的決心。
這一年六月十四日，李淵置大將軍府，自立為大將軍，以裴寂為長史，劉文靜為司馬，唐儉和溫大雅為記室，武士彠為鎧曹，殷開山為戶曹，長孫順德、劉弘基等人為左右統軍；同時以李建成為隴西公、左領軍大都督，統率左三軍；以李世民為敦煌公、右領軍大都督，統率右三軍；以柴紹為右領軍府長史；其餘文武將吏也各有任命。
七月初四，李淵以李元吉為鎮北將軍、太原留守，讓他鎮守後方根據地。初五，李淵召集全軍誓師，發布了聲討楊廣、“匡扶”隋室的檄文，傳檄四方郡縣。此前，李淵命劉文靜出使突厥，暫時向始畢可汗稱臣，以便穩住突厥人，並要求他們在政治和經濟上提供援助。隨後，李淵親率三萬精兵從晉陽出發，正式踏上了開創帝業的征程。
七月八日，李淵率部進抵賈胡堡（今山西汾西縣北）。此堡南麵五十多裏處，就是隋將宋老生重兵據守的霍邑（今山西霍州市）。
在這裏，李淵軍隊陷入了一個進退兩難的困境。
首先是因為連日天降大雨，道路泥濘難行，軍中糧草即將告罄，而派回太原運送補給的車隊又遲遲沒有返回。其次，軍中開始傳出謠言，說突厥人已經變卦，準備聯合劉武周襲取太原，因而軍營中人心惶惶。