懷帝既立，大權仍在東海王越之手。時八王之亂稍澹，然劉淵、石勒等，紛紛並起，勢遂不可支矣。
魏武帝分匈奴之眾為五部，單於於扶羅之子豹為左部帥，已見《秦漢史》第十二章第十節。豹卒，子淵代之。大康末，拜北部都尉。楊駿輔政，以淵為五部大都督。元康末，坐部人叛出塞免官。成都王穎鎮鄴，表淵監五部軍事。
《晉書·載記》言淵初為侍子，在洛陽，王濟嚐言於武帝，欲任以東南之事，為孔恂、楊珧所阻。後秦、涼覆沒，帝疇谘將帥，李憙乂欲發五部之眾，假淵一將軍之號，使平樹機能，又為恂所阻。案借用夷兵，為後漢以來習見之事，王濟、李憙，蓋仍狃於舊習，然是時五胡跋扈之形已見，故孔恂、楊珧，欲防其漸也。
惠帝失馭，寇盜蜂起，淵從祖故北部都尉左賢王劉宣等，密共推淵為大單於，使其黨呼延攸詣鄴，以謀告之。淵請歸會葬，成都王穎弗許，乃令攸先歸告宣等，招集五部，引會宜陽諸胡，見上節。聲言應穎，實背之也。穎為皇大弟，以淵為大弟屯騎校尉。東嬴公騰、王浚起兵，淵說穎：還說五部，以赴國難。穎悅，拜淵為北單於，參丞相軍事。淵至左國城，在今山西離石縣北。劉宣等上大單於之號，都於離石。今山西離石縣。時永興元年八月也。旋遷於左國城。十一月，僭即漢王位。追尊蜀漢後主為孝懷皇帝，立漢三祖、高祖，世祖，昭烈帝。五宗大宗，世宗，中宗，顯宗，肅宗。禦主而祭之。東嬴公騰使將討之，敗績。騰懼，率並州二萬餘戶下山東。淵遣其族子曜寇大原、見第二章第二節。泫氏、漢縣，今山西高平縣。屯留、漢縣，今山西屯留縣。長子、漢縣，今山西長子縣。中都，漢縣，今山西平遙縣西北。皆陷之。
二年，離石大饑，遷於黎亭，《續漢誌》：上黨郡壺關縣有黎亭。壺關，在今山西長治縣東南。以就邸閣穀。永嘉元年，劉琨為並州刺史，淵遣劉景要擊之於板橋，未詳。為琨所敗，琨遂據晉陽。漢縣，今山西大原縣。其侍中劉殷、王育勸淵定河東，取長安，以關中之眾，席卷洛陽。淵遂進據河東。寇蒲阪、漢縣，在今山西永濟縣北。平陽，見第二章第二節。皆陷之。入都蒲子。漢縣，在今山西隰縣東北。二年，十月，僭即皇帝位，遷都平陽。