西晉初，匈奴人郝散、郝度元兄弟的叛亂可以看做是匈奴人的一次試探，尤其是關中地區的叛亂被太子迅速剿滅之後，讓匈奴人知道漢人還沒有完全衰落下去。為此，匈奴人在大首領劉淵的領導下，再次將自己的爪牙收斂起來。
從關中回到本部後，劉淵“明刑法，禁殲邪，輕財好施，推誠接物，五部俊傑無不至者”。就連幽州冀州一帶的名儒、秀士，也不遠千裏，慕名而至。
晉惠帝期間，八個司馬王爺以及眾位勳貴各懷鬼胎，你爭我鬥。劉淵乘機在五部糾結人馬，以觀時變。藩王將亂，並州刺史司馬騰奉兄長東海王司馬越之命拉攏這位非常有號召力的匈奴大都督，把他召至晉陽城，暗中許諾封劉淵為“行寧朔將軍、監五部軍事”。
殊不料，這位寧朔將軍不“寧朔”，最後倒是“亂朔”。
劉淵眼瞅著眼見晉朝宗室相伐，天下即將動蕩，心中竊喜，隻是身在漢地，不敢有太大動作。
中原大地板蕩之時，居於汾水流域的匈奴五部蠢蠢欲動。劉淵的堂叔祖劉宣奉其命秘密召集五部上層貴族，對當時的情勢發表意見，準備見機起事。
劉宣高聲叫道：“我們匈奴先人（南匈奴）與漢朝約為兄弟，榮辱與共。自漢朝滅亡，魏晉代興，我們匈奴族人隻有虛號，沒有實土之封，雖號稱王族世家，和普通百姓編戶沒什麽區別，想想真是屈辱啊！現在司馬氏骨肉相殘，四海鼎沸，正是我們興邦複業的大好時機。劉元海姿器絕人，為超世人傑，正是興複匈奴大業的最佳人選。”
“吾願意奉其為南匈奴之主，領導我們匈奴人走向複興！不知眾位意下如何？”
五部貴族大多數都是跟劉家有著千絲萬縷聯係的親戚，自然知道劉淵在匈奴部落的號召力，於是五部貴族上層秘密盟誓，推舉劉淵為大單於，並暗派匈奴族人呼延攸到晉陽，把五部盟誓的事情通報劉淵。