劉武周的祖籍河間景城，父親劉匡舉家遷徒馬邑(今山西朔縣)。劉武周“驍勇善射，交通豪俠”。他的哥哥劉山伯每每告誡他說： “你**朋友，將來一定會使我們遭到滅族之災。”並多次為此辱罵他。劉武周因此而離家出走，到東都洛陽後，在太仆楊義臣帳內辦事行走，應朝廷征募前往遼東征討高麗，因軍功授建節校尉。
回師後，劉武周任鷹揚府校尉。馬邑太守王仁恭因為敬重他是州裏的人物，頗為賞識，常常令他率虞侯屯於自己宅下，因而劉武周與王仁恭的侍兒私通。劉武周擔心事情泄露後於己不利，又眼見天下已經動亂，便心懷造反意圖，設計殺死了王仁恭，自領馬邑太守。
劉武周就勢在馬邑起兵，作戰連連告捷，因而軍威大振，於是又攻陷定襄郡，然後回歸馬邑。突厥立劉武周為定楊可汗，劉武周自稱皇帝，以妻沮氏為皇後，建元為“天興”。以衛士楊伏念為左仆射，妹婿範君璋為內史令。
李淵在晉陽起兵並決定西取長安時，不得不派使臣向突厥始畢可汗卑辭厚禮，結為友好，並許諾攻下長安後，所有男女財物都歸可汗。這一切，目的在於攻取長安期間防止突厥與劉武周聯合南下進犯。雖然如此，攻取長安時，李淵還是委任李元吉率重兵鎮守晉陽。
河北易州的地方武裝宋金剛被竇建德擊敗，率餘部四千人投奔劉武周。劉武周平素知道宋金剛善於用兵，十分高興，委以軍事，號為宋王。宋金剛也深為依重，休了原妻，娶劉武周之妹。
唐武德二年(619),突厥與唐王朝的關係發生變化，轉而支持劉武周南下。宋金剛勸說劉武周攻取晉陽，南下爭奪天下。劉武周任命宋金剛為西南道大行台，命他率二萬士兵入侵並州，駐軍於黃蛇嶺。這時，突厥的騎兵也趕來參戰。黃蛇嶺與太原近在咫尺，李元吉於慌忙之中派張達率兵抵禦，結果全軍覆滅，劉武周乘勝奪取榆次，又攻陷石州，殺死刺史王儉，接著又攻陷平遙，這時太原已處於劉武周軍隊的包圍之中。