在隋煬帝匆往江都之時，全國範圍的民眾起義已方興未艾，不僅有農民起義，而且有地主起兵。各路義軍在反隋暴政的鬥爭中逐漸組合成幾支大的聯盟，合力抗擊官軍，並不斷取得勝利。
大業十二年(616)八月乙巳(二十一日),有恒山(今河北正定縣南)趙萬海率河北義軍“眾數十萬”攻打高陽(今河北定縣)。
九月，東海(治今江蘇連雲港)杜揚州、沈覓敵等又聚眾數萬，隋煬帝派陳棱將其擊敗。十二月癸未(初一),鄱陽人操天成(又名操師乞)舉兵，自號元興王，建元始興，攻陷豫章郡(治今江西南昌),任其同鄉林士弘為大將軍，四出略地。隋煬帝詔治書侍禦史劉子翊率軍進剿，戰鬥中操天成中流矢陣亡，部眾轉由林士弘統領，與官軍再戰於彭蠡湖(今鄱陽湖),結果劉子翊兵敗被殺。林士弘兵眾迅速增到十餘萬人，聲勢大振，向南占領虔州(今江西贛州),自稱“南越王”。十二月壬辰(初十),林士弘自稱皇帝，國號楚，建元太平，地方豪傑爭殺隋郡縣守令，開城響應林士弘。
在河北地區，農民軍郝孝德、孫宣雅、高士達、張金稱、楊公卿、時秀康、魏刁兒等部四處攻打郡縣，隋將帥相繼敗亡，隋煬帝乃令太仆卿楊義臣率重兵進剿俘張金稱，張金稱視死如歸，大義凜然， “未死間，歌謳不輟”,表現了農民的英雄氣概。
隋煬帝又從南方調來王世充，攻滅河北義軍格謙。滄州鹽戶高開道為格謙部將，有勇力，乃收集餘部繼續造反先後攻占北平(治今河北盧龍)、漁陽(今北京市)二郡，稱燕王，建亢，署置百官，按照傳統王朝模式建立了大燕政權。
經過戰火磨煉，竇建德在河北農民起義軍中脫穎而出，成為河北義軍領袖。和其他農民武裝不同，竇建德俘獲隋官吏及士族子弟皆不殺，而是善遇優待，於是不少隋郡縣官以城降附地，使竇建德聲勢日盛，勝兵十餘萬人，互高開道的燕政權同為河北農民重要力量。