中原各地紛紛擾擾之時，隋朝最終的取代者此時還偏居山西一隅，他就是隋朝的世襲貴族——唐國公李淵。
李淵家族源於北魏六鎮兵家，顯貴於西魏時期，也是一個胡漢民族相融合的家庭。和隋朝開創者楊堅的父親楊忠被賜姓“普六茹”一樣，李淵的祖父李虎也因功勞卓著，曾被北周王朝賜姓“大野”，所以李淵早年也被叫作“大野淵”。同為北周的軍事貴族，李淵和楊堅關係密切，不僅是世交，還是親戚。李淵的母親獨孤氏，與北周明帝的獨孤皇後、隋文帝楊堅的獨孤皇後是姊妹關係，都是獨孤信的女兒。
李淵七歲時，父親李昞就逝世了，依靠父輩的祖蔭，承襲父爵做了唐國公。因為貴族身份，李淵很早就入仕了。在隋朝建立之初，李淵補為千牛備身。隋文帝楊堅在位時，將李淵看作是與自家有世交的“侄子”，又看作是本家的“外甥”，照顧有加。加上李淵和皇子楊勇、楊廣等人年紀相仿，李淵和皇室關係密切，在隋朝早期階段平步青雲。如果此時有人說李淵對朝廷懷有二心，想必沒有幾個人會相信。
楊廣即位後，李淵的官運就不太亨通了。據說是因為他過分喜愛自己養的駿馬和獵鷹，不肯獻給楊廣，所以楊廣就給自己這個表親小鞋穿。後來李淵在妻子竇氏的提醒下，開始積極向楊廣進獻駿馬、獵鷹和玩物，官運立即亨通起來，先後任滎陽太守、樓煩太守、殿內少監、衛尉少卿。大業十一年（615），李淵出任山西河東慰撫大使，兩年後出任太原留守。雖然算不上是隋朝政壇呼風喚雨的人物，但沒人否定李淵是朝廷的顯貴，是現有政治體製的既得利益者。
天下烽煙四起時，李淵是以鎮壓造反者的“正麵形象”登上競技場的。他一開始對各地的農民起義軍咬牙切齒，希望謀劃得當，撲滅起義。