八王混戰開始後，匈奴部落裏的一些貴族說：“我們匈奴單於後代雖然有封號，但是卻沒有自己的土地，跟一般百姓沒什麽兩樣。現在晉朝發生內亂，自相殘殺，正是我們匈奴人恢複地位的好時機啊！”
大家一致認為劉淵有才能、威望高，推舉他當單於相當合適。於是，貴族們派人去請回劉淵。劉淵很高興，就借口要回匈奴安葬自己的父親，向司馬穎請假；司馬穎不同意，劉淵隻好讓使者先回去，並且要五部匈奴集結兵力，向南移動。
後來，司馬穎與東海王司馬越爭奪地盤，並打算挾持晉惠帝逃跑。晉朝的並州刺史司馬騰、將軍王浚聯絡鮮卑貴族攻打司馬穎，司馬穎落敗，逃往洛陽。劉淵向司馬穎提出要回去帶匈奴兵馬來助戰，司馬穎才放他走。
公元304年，劉淵回到左國城，大夥兒擁戴他做大單於。他集中了五萬人馬，親自率領南下，幫助晉軍攻打鮮卑兵。有人問他，為什麽不趁這個機會把晉朝滅掉，反倒去幫助晉軍呢？
劉淵說：“要滅掉晉朝容易，但是晉朝的百姓未必會向著我們。我看漢朝立國的年代最長，在百姓心中影響也大，我們的祖先又是漢朝皇室的兄弟。現在漢朝亡了，我們用繼承漢朝的名義，也許可以得民心。”
大家聽了，覺得是個好主意。自此以後，劉淵就宣稱自己是漢王。
相關鏈接：
西北彪悍民族的統稱——“胡”
“胡”最初指的是匈奴人，後來泛指古代北方遊牧、漁獵民族。“胡人”的說法出現很早，戰國時，趙武靈王“胡服騎射”的說法就足以證明。胡，並非對少數民族的蔑稱。具體說，是對居住在北方和西方的少數民族的一種泛稱。
西漢時，匈奴單於狐鹿姑曾經給漢室皇帝致書，說“胡者，天之驕子也”。也就是說，“胡”在匈奴人眼裏是“天之驕子”的意思，和中原的“天子”意思差不多。胡人最輝煌的時期是兩晉南北朝，伴隨著晉室的衰落與南遷，原居中國北方的少數民族紛紛南下，與漢族比鄰，並先後建立了五涼、四燕、三秦、二趙、大夏等十五個北方政權和一個西南政權成漢。由於這些政權主要是由匈奴、鮮卑、羯、氐、羌五個少數民族所建，所以史稱“五胡十六國”。