西晉晚期發生了著名的“八王之亂”。它的烽火還沒有在中華大地平息，橫空出世的劉淵又帶著匈奴發動了針對西晉王朝的叛亂，把永嘉攪了個天翻地覆，北方再次陷入水深火熱之中。而始作俑者劉淵，他的祖先是匈奴單於。
不受重用
從西漢末年起，有一部分匈奴人分散居住在北方邊遠郡縣，他們和漢族人相處久了，接受了漢族的文化。匈奴貴族認為祖先多次跟漢朝和親，是漢朝皇室的親戚，後來就改用漢朝皇帝的姓——劉。
曹操統一北方後，把匈奴三萬個部落分為五個部，每個部都設部帥，匈奴貴族劉豹就是其中一部的部帥。
劉淵是劉豹的兒子，從小聰明伶俐，讀了許多漢族人的書。他身強力壯，武藝高強，能夠拉得動三百斤重的大弓。
公元264—265 年，劉淵作為匈奴五部的質子來到洛陽，見到了當時掌權的司馬昭。
司馬昭上下打量劉淵，發現他相貌堂堂，身材魁梧，同時又滿腹文韜武略，非常欣賞，並希望劉淵能夠為自己所用。但是曹魏大臣孔恂等人認為劉淵是匈奴人，並非漢族，恐以後有反心，不堪錄用，因此堅決反對。經過這些人的多次勸說，司馬昭隻能忍痛割舍了劉淵，把劉淵閑置在洛陽。
大起大落
劉淵被困在洛陽無計可施時，匈奴傳來消息，劉淵的父親劉豹去世了。劉淵趁機解除了自己的質子生活，帶領軍隊返回匈奴五部，繼承了父親的職位。
公元289 年，朝廷下令封匈奴五部將領為五部都尉，後來又成了五部大都督。劉淵很高興，這算是由朝廷正式確立了他在匈奴五部的地位。受到極大振奮的劉淵開始勵精圖治，用自己多年所學來治理匈奴五部。
但是好景不長，因為匈奴五部中有人叛逃，引起朝廷震怒，劉淵被罷免了五部大都督的職務，被迫到成都王司馬穎手下當了個寧朔將軍。