唐朝時，江南地區是其重要的財富來源之地，安祿山意欲切斷唐廷的經濟命脈，在奪得洛陽之後，馬上開始向江淮和江漢地區進兵，河南南部的官民同叛軍展開了激烈的戰鬥，力阻叛軍南下。
睢陽(今河南商丘南)是南北大運河的樞紐，是進入江淮的重要門戶，安祿山占領洛陽不幾日，就任命張通儒弟張通晤為睢陽太守，與陳留長史楊朝宗率數千胡騎向東攻城略地。不少郡縣官吏望風而逃，隻有東平郡太守嗣吳王李祗、濟南太守李率起兵抵抗，其他各地的抵抗組織也打起吳王的旗號。單父(今山東單縣)尉賈賁挺身而出，率吏民南擊睢陽，殺了叛軍太守張通晤，使東進的叛軍膽戰心驚。叛將李庭望受安祿山派遣，正準備東下攻略郡縣，中途聽到張通晤被殺十分震驚，嚇得他連忙退兵，不敢出戰。
至德元年(756)正月初一，安祿山暗中唆使洛陽耆老、僧道，搞了一場假勸進之後，遂粉墨登場，登上寶位，自稱大燕皇帝，改元聖武，並任命達奚珣為侍中，張通儒為中書令，高尚、嚴莊為中書侍郎，組成了偽朝廷。
安祿山稱帝之時，原濟南太守李隨進至睢陽。玄宗為了加強東南部的抗敵鬥爭，任命李隨為河南節度使，前高要尉許遠為睢陽太守兼防禦使。濮陽客尚衡也自動組織起來，起兵討伐安祿山，任命同郡人王棲曜為衙前總管，並攻破了濟陰城(今山東定陶西),殺死了安祿山部將邢超然。
二月，玄宗又任命吳王李祗為靈昌太守，河南都知兵馬使，在河南北部組織官民抗敵，與南部的李隨呈掎角之勢。這時，賈賁殺死了張通晤之後，進至雍丘(今河南杞縣),擁有二千人馬。
投降了安祿山的譙郡太守楊萬石逼迫真源令張巡為本郡長史，命他西去迎接叛軍。張巡到了真源，率吏民到玄元皇帝廟哭祭，決定起兵討叛，吏民紛紛響應，很快達到數千人。張巡從其中精選了千餘人，遂率領著這支隊伍去雍丘與賈賁會師。