卻說兀術敗回汴京，再議整軍迎敵，偏諸將垂頭喪氣，莫敢言戰。兀術複傳檄河北，調集諸路兵士，亦沒人到來。是時中原一帶如磁、湘、澤、潞、晉、絳、汾、隰諸境，多響應嶽家軍，遍懸嶽字旗幟，父老百姓爭備糗糧，饋送義軍。就是金驍將烏陵噶思謀及統製王鎮，統領崔慶，偏將李凱、崔虎、葉旺等，俱有意降宋。還有龍虎大王以下的將官忔查、一譯作噶克察。千戶高勇等，亦密受飛旗榜，連韓常也欲率眾內附。兀術自知危急，便長歎道：“我自帶兵以來，從未有這等敗衄，今已至此，還有何言！”隨即帶領親卒乘馬欲奔。方擬出城，忽有一書生叩馬諫道：“太子毋走！嶽少保且退！”兀術在馬上答道：“嶽少保隻用五百騎，能破我兵十萬，汴京人士日夕望他到來，我難道坐待俘囚，不管生死麽？”書生笑道：“太子說錯了。從古未有權臣在內，大將能立功於外。嶽少保尚且不免，怎得成功哩？”這書生不知誰氏，可惜姓名不傳。這數語提醒兀術，便返轡回入，仍留汴京。
那時氣吞金虜的嶽元帥正召諭諸將，整裝出發，且傳語道：“直抵黃龍府，與諸君痛飲。”言未已，忽有朝使到來，促飛班師。飛問朝使道：“這是何故？”朝使答道：“秦丞相與金議和，已有頭緒，所以請少保還朝。”飛憤然道：“恢複中原，十得七八，奈何中道班師？”朝使默然而去。飛即日上疏，略言“金人喪膽，盡棄輜重，疾走渡河。現在豪傑向風，士卒用命，正當猛進圖功，時不再來，機難輕失”雲雲。檜得飛奏，非常懊惱，他想了一個釜底抽薪的計策，先致書張俊、楊沂中等，令他速回，然後上言：“飛隻孤軍，不應久留。”高宗也糊糊塗塗的應了一聲。檜遂連下十二道金牌，催飛速歸。看官道什麽叫作金牌？乃係牌上寫著金字，凡遇緊急命令，即用此牌。飛一日接奉金牌十二道，不覺悲憤交集，向東再拜道：“十載功勞，一旦廢棄，奈何，奈何？”拜畢泣下，閱至此，令人亦廢書三歎。遂下令班師。百姓遮馬挽留，且泣且訴道：“我等戴香盆，運糧草，迎接官軍，金人早已知曉。相公若去，我輩無噍類了。”飛亦悲泣，取金牌指示道：“我食君祿，盡君事，既奉君命，不敢擅留。”百姓聽了飛言，頓時哭聲震野。飛乃下令道：“願從我去，速即整裝，我當再待五日。”大眾齊聲應命。飛複下馬暫留，至五日期滿，因即啟程。百姓隨軍南行，仿佛如市。飛亟從途次拜本，請將漢上六郡閑田俾民暫住，總算覆旨允準。