公元321年，晉元帝任命戴淵為征西將軍、都督司兗(11)豫並雍冀六州諸軍事、司州刺史，出鎮合肥。祖逖認為戴淵雖有才望，卻無遠見卓識；而且自己辛苦收複河南，卻仍不得朝廷信任，心中甚為不快。不久，祖逖又聽聞王敦跋扈，朝廷內部矛盾日益尖銳的消息，祖逖擔心內亂爆發、北伐難成，以致憂憤成疾。
祖逖雖患病，但仍圖進取，抱病營繕虎牢城。虎牢城北臨黃河，西接成皋，地理位置非常重要，他擔心城南沒有堅固的壁壘，易被敵軍攻破，特意派從子祖濟率眾修築壁壘。但壁壘尚未修成，祖逖便在雍丘病逝，時年五十六歲。
祖逖死後，豫州百姓如喪父母，譙梁百姓還為他修建祠堂。晉元帝追贈祖逖為車騎將軍，並命其弟祖約接掌其部眾。後趙(12)趁機入侵河南，祖約難以抵禦，退守壽春。祖逖收複的河南大片土地最終又被後趙攻陷。
相關鏈接：
“中流擊楫”典故的由來
祖逖北伐時曾渡長江，當船至中流時，他眼望麵前滾滾東去的江水，感慨萬千。想到山河破碎和百姓塗炭的情景，想到困難的處境和壯誌難伸的憤懣，豪氣幹雲，熱血湧動，敲著船楫朗聲發誓：“我祖逖如果不能使中原清明而光複成功，就讓我像大江一樣有去無回吧！”“中流擊楫”由此得名，後人便用“中流擊楫”比喻立誌奮發圖強。