從西漢末年起，有一部分匈奴人分散居住在北方邊遠郡縣，他們和漢族人相處久了，接受了漢族的文化。匈奴貴族認為祖先多次跟漢朝和親，是漢朝皇室的親戚，後來就改用漢朝皇帝的姓——劉。曹操統一北方後，把匈奴三萬個部落分為五個部，每個部都設部帥，匈奴貴族劉豹就是其中一部的部帥。
劉淵是劉豹的兒子，從小聰明伶俐，讀了許多漢族人的書。他身強力壯，武藝高強，能夠拉得動三百斤重的大弓。
公元264—265年，劉淵作為匈奴五部的質子來到洛陽，見到了當時掌權的司馬昭。
司馬昭上下打量劉淵，發現他相貌堂堂，身材魁梧，同時又滿腹文韜武略，非常欣賞，並希望劉淵能夠為自己所用。但是曹魏大臣孔恂等人認為劉淵是匈奴人，並非漢族，恐以後有反心，不堪錄用，因此堅決反對。經過這些人的多次勸說，司馬昭隻能忍痛割舍了劉淵，把劉淵閑置在洛陽。