李軌被滅之後，李淵將目光瞄準了太原北部的軍閥劉武周。
劉武周，河間景城（今河北省滄州市）人，富二代出身，後來家族遷居到馬邑。據說，劉武周年輕的時候，仗著家裏錢多，結交了一大批狐朋狗友，時常邀請他們喝酒吃飯，整日無所事事。
有一天，哥哥劉山伯實在是看不下去了，這才找劉武周談話，指責他再這樣胡鬧下去，遲早會毀了劉氏家族，還羞辱他一事無成，就是個廢物。
人都是好麵子的，更何況劉武周還是堂堂的七尺大漢。你不是說我庸碌無能嗎，那我就幹出點名堂，讓你好好瞧瞧！劉武周一氣之下，跑到洛陽投奔了太仆卿（掌管皇帝的禦馬和全國馬政）楊義臣，開始了轟轟烈烈的軍旅生涯。
隋大業八年（612）—隋大業十年（614），隋煬帝發動了三次高句麗戰爭，劉武周都是參與者之一，由於在戰爭中表現積極，砍了好些人頭，領導在考核軍功的時候，將他升為校尉（軍中低級軍官）。戰爭結束之後，領導征詢劉武周未來的職業發展規劃，劉武周的第一想法就是衣錦還鄉，讓老哥狠狠地佩服一下。
那就讓你回馬邑，做個鷹揚府校尉（連長級別）吧。
當時，馬邑太守叫王仁恭。想當年，王仁恭跟隨老東家楊素東征西討，得了不少軍功，又深得隋文帝和隋煬帝的賞識，做過衛府大將軍、左光祿大夫、驃騎大將軍、衛州（今河南省新鄉市衛輝縣）刺史、汲郡太守等職，可以說是隋朝的資深官員。
事實上，王仁恭在馬邑太守的任上還算恪盡職守，也幹出了不少政績。悲劇的是，後來楊玄感謀反，朝廷懷疑王仁恭的侄子王仲伯參與其中，因此將王仁恭一擼到底，讓他做回了庶民。後來，東突厥屢屢犯邊，隋煬帝一時間找不到合適的封疆大吏，因此重新起用老油條王仁恭，命他駐守在馬邑。