鹹寧五年（279年），匈奴左賢王劉豹去世，劉淵子承父業，成為匈奴左部帥。他的才華得以發揮，嚴刑法，禁犯罪，休養百姓，輕財重士，一時間匈奴五部都唯劉淵馬首是瞻。以大將劉宣的說法：老天是要光複我們大單於的光榮偉業，才會讓左賢王劉淵這樣的偉人誕生。
晉惠帝年間，“八王之亂”爆發。
在此天下大亂之際，劉淵被成都王司馬穎任命為寧朔將軍，監五部軍事，駐軍鄴城。
並州五部匈奴的大頭領如劉宣等，都以為現在中原司馬氏正骨肉相殘，時局動**，正是起事的良機，遂密謀推舉劉淵為大單於，派人到鄴城接他。但司馬穎不放人，劉淵隻能讓人先回並州，令劉宣等人召集五部人馬，對外聲稱支援司馬穎，準備起事。
司馬穎連續擊敗司馬家其他王的人馬後，碰上並州司馬騰和王浚的部隊，他們的部隊中有很多鮮卑、烏丸騎兵，來去如風，英勇善戰。
司馬穎對劉淵說，他打算率軍送皇帝回洛陽，棄守鄴城。
劉淵知道機會來了，他先是勸司馬穎不要放棄鄴城，因為這樣一示弱，大勢去矣！接著他說：鮮卑騎兵雖然精銳，但還是不如五部匈奴，現在請大王鎮守鄴城，我去率領五部匈奴軍隊前來參戰，以二部摧毀司馬騰的部下，以三部消滅王浚的人馬，幾天後就把這兩個人的腦袋掛在鄴城的城樓上！
司馬穎笑得合不攏嘴，封劉淵為北部單於。
就這樣，劉淵平安到達左國城，劉宣等即舉劉淵為大單於，二十天內就聚集人馬五萬，但他沒有再理會司馬穎，而是準備建國稱雄。
劉淵說：我們是當為高山的人，怎可回去做土丘呢？天下應該歸有德者所有，無論是否是漢人，周文王出生於西夷！我將來最理想的，就是成就漢高祖劉邦那樣的基業，最差也可以成為曹操！