當年漢高祖劉邦為了和親匈奴，把一位同宗的女兒冊封為公主，將她嫁給冒頓單於，然後兩族結為表麵上的兄弟，冒頓單於的子孫都以劉氏為姓。
東漢建武二十四年（48），匈奴南疆八大部落首領共同推舉日逐王欒提比當呼韓邪單於，向光武帝劉秀臣服。匈奴一族經過劉秀允許進入西河郡的美稷縣（今內蒙古準格爾旗）定居，後來進一步南遷，把王廷遷移到左國城（今山西省呂梁市離石區）。東漢中平五年（188），第四十任單於欒提羌渠派其子於扶羅率兵援助東漢，討伐自稱安定王的張純。於扶羅要回軍的時候，得到了父親羌渠單於在政變中被殺害的消息，於是就和他的部下留駐在內地，自稱單於。於扶羅死後，其弟呼廚泉繼位，任命於扶羅之子劉豹為左賢王。後來為了加強對匈奴的管理，曹操將呼廚泉強留鄴城，把他的兵分為五部（五部匈奴事，見第四十三節“匈奴叛亂”），任命劉豹為左部帥，率左部定居於茲縣（今山西汾陽市）。
劉豹的妻子懷孕十三個月，生下了兒子劉淵。這個孩子自小聰明，七歲時候母親去世，他頓足捶胸，號啕大哭，異常悲痛，同族人都暗暗稱讚他孝順。劉淵自幼好學，拜崔遊為師，博覽群書，尤其喜歡《春秋左氏傳》《孫武兵法》這兩部。他曾經對人說：“我閱讀書傳，常常鄙視隨何、陸賈沒有武功，周勃、灌嬰沒有文采。隨何、陸賈遇上漢高祖而不能夠建立起封侯的功業，周勃、灌嬰跟隨漢文帝而不能興辦教育，真是可惜了！”吸取前人教訓，劉淵立誌要文武雙全，於是開始學習武藝，後來竟也武藝精湛，少有人能比得上他。
曆史上能做大事的人總要有點異常，劉淵也一樣，他外貌異於常人：身材魁梧，身高八尺四寸（相當於今天的兩米出頭），頭發三尺多長，胸口上有三根紅色的毫毛，長三尺六寸。大概在曹魏景元五年（264），劉淵到洛陽做人質，安東將軍、司馬炎身邊的紅人王渾對他十分欣賞，待之以禮，誠心與劉淵結交，並讓兒子王濟拜見劉淵。王渾還多次把劉淵推薦給司馬炎，司馬炎召見劉淵麵談，隻見劉淵博古通今，說得頭頭是道，也就對他刮目相看。王濟進一步推薦道：“劉淵能文能武，陛下如果把滅吳大事交給他，定能平定。”但楊珧、孔恂等堅決反對：“非我族類，其心必異。劉淵雖然才幹出眾，但不能授予他兵權。”這個事情就在爭議中被擱置了。