太康四年（294）五月，匈奴部落酋長郝散發動叛亂，於穀遠（今山西沁源縣）起兵反晉，進攻上黨郡（今山西黎城縣），殺死了郡太守。
這裏我們需要簡單回顧一下匈奴的曆史。匈奴是從哪裏來的？據《史記·匈奴列傳》記載，商湯滅夏（約前1600）後，把夏桀流放到南巢（今安徽巢湖市附近），夏桀死後，他兒子淳維帶著父親留下的妻妾和一些手下逃到了北方的草原，因此匈奴實為華夏民族的一支。但因為長期與中原內陸隔離，久而久之，匈奴形成了與中原民族不同的文化風俗。匈奴曾經令中原王朝很苦惱，西周周幽王為了博取冷美人褒姒一笑，聽信部下讒言，在沒有外敵入侵的情況下點燃烽火台，各諸侯國派兵來救，發現是一場鬧劇，這就是著名的“烽火戲諸侯”。等到犬戎（古匈奴）來攻，烽火台上燃起的烽火早就失去了信用。犬戎攻破鎬京，周幽王被殺（前771），之後周平王東遷洛陽，東周開始（前770）。
公元前214年，秦始皇派大將蒙恬率領大軍大敗匈奴，收回河套以南地區，設四十四個縣，並增修了長城，全長達一萬餘裏。後蒙恬大軍渡過河套，占領陰山山脈，威震匈奴，使其十餘年不敢犯邊。公元前209年，冒頓單於殺父自立。他是一個有雄才大略的軍事統帥，在他的帶領下，匈奴從此走向強大，擊敗了東胡（居於今內蒙古東部、河北北部的少數民族），開始獨霸草原。公元前200年，匈奴把劉邦圍困在白登山（今山西大同市東），劉邦采用陳平之計，行賄冒頓單於的妻子才終於解圍。到漢武帝劉徹時，傾全國之力，幾次派大將衛青、霍去病前去攻打，終於大敗匈奴，匈奴由盛轉衰。
為了爭奪權力，匈奴內部開始了殘酷的政治鬥爭。東漢建武二十四年（48），匈奴南疆八大部落首領共同向東漢光武帝劉秀臣服，表示要永遠做漢王朝的藩屬，並幫助漢王朝抵擋來自北方的侵略。當時雖然有大臣反對，但劉秀表示同意，還派人幫助南匈奴在五原郡（今內蒙古包頭市）西北八十裏的地方建立王庭，南北匈奴正式分裂。南匈奴後移居雲中郡（今內蒙古托克托縣），再移居西河郡美稷縣（今內蒙古準格爾旗），最終定居在距離洛陽（東漢都城）幾百公裏的平陽（今山西臨汾市）。各位如果攤開地圖看看這幾處地方就會發現，南匈奴一直是在南遷，也就是往漢王朝的中心遷。