永嘉二年（302年）始，石勒率軍征戰趙、魏等地，與西晉在北方的殘餘勢力劉琨、王浚等多次交手，勝多負少，不斷壯大著自己的力量。
他很注重對漢族知識分子的任用和尊重，特別建立了“君子營”安置歸降的士人。這樣的禮賢下士，使得張賓、刁膺、張敬等都成為輔助他成就大業的高級參謀。其中張賓最為重要，他是石勒身邊的“諸葛亮”，石勒甚至隻尊稱他為“右侯”，不叫他的名字。
那段時間，整個中國北方都被鮮血浸染，各路諸侯殺伐不斷，百姓遭受塗炭。在戰火熊熊的歲月裏，相較而言，石勒的部隊還算有王師風範，雖然他依舊殺人如麻。
永嘉五年（305年），石勒在苦縣擊潰晉軍主力近二十萬眾，活捉了晉王公貴族王衍等一大批人，全部殺掉。此後，晉軍在北方已無力與少數民族軍隊抗衡了。
同年，石勒與匈奴漢軍大將劉曜、王彌等一起攻入長安，活捉了西晉皇帝。
到了這個時候，石勒的實力越來越強，匈奴漢國當時的皇帝劉聰已控製不了他了。多年的角逐爭鋒，石勒消滅了晉在北方的部眾劉琨、王浚等，又兼並了漢軍的幾股強大勢力，如王彌、曹嶷等，成為洛陽以東最為強大的割據勢力。
公元319年，匈奴漢國由劉曜繼承，並改國號為“趙”，史稱前趙。石勒不甘示弱，也稱趙王，史稱後趙。
公元328年，兩趙決裂，決定北方之王的大戰爆發。
石勒料敵在先，一舉擊潰前趙主力，活捉劉曜。整個北方，除了遼西、遼東的鮮卑和涼州的前涼外，已都在石勒的統治之下。
石勒年輕時，總感覺到耳邊鼓角爭鳴，戰馬嘶吼，雖然他母親安慰他，說這是幹活累了，耳鳴，不過現在看來，這大概預示了石勒是個不折不扣的、為戰爭而生的殺神。