包括張灝在內，眾將都登上城頭觀看，發現五裏之外的金兵大營人聲鼎沸，但又聽不見出營作戰的金鼓之聲。普六茹伯盛喚了昨夜在外哨探的探馬來詢問，探馬道：“韃子確實是在收營，先鋒已經出發往南去了。”
普六茹伯盛對著張灝匯報了這消息，步鹿孤樂平道：“既然韃子要走，末將願帶本部追殺一陣，也讓韃子知道咱們的厲害。”
張灝擺擺手：“這恐怕是完顏婁室的誘敵之計，諸將守好城池，沒我的將令，不得出城。”
完顏婁室的大軍真的是撤退了，他和完顏粘罕分兵後，兩草本就不多，補給基本靠搶，汾州周圍的村莊早就被宋軍的潰兵吃得一幹二淨，步鹿孤樂平帶勝捷軍到來後又刮地三尺堅壁清野，村民要麽向南逃難去，（就是呼延賡在路上碰見的那一批難民），要麽躲進了汾州城裏。完顏婁室到來，無糧可搶。魯智深又在金兵糧倉放了一把火，雖然燒掉的糧食不多，不過搞得人心惶惶。汾州城的情形，也不是一兩天能夠打下來的。
完顏婁室當機立斷，繞過汾州，先取平陽。金兵第一次南下時就曾繞過太原等三鎮，直取汴梁，因此這一次繞過汾州，諸將也沒有疑慮。按完顏婁室所想，平陽的宋軍隻怕還以為他會被阻擋在汾州城下，現在金兵突襲平陽，正可出其不意。
十月十八日，完顏婁室過回牛嶺。
楊可發離開平陽之時，曾建議扼守回牛嶺，劉銳也聽從了這個建議，派二百人守在回牛嶺上。但劉銳做慣了將門虎子，對帶兵的小節毫不在意，十月已是初冬，會牛嶺上的守軍既沒有冬衣，也沒有充足的食物，每人每天隻有二升陳麥。軍士笑曰：“軍食如此而使我戰乎！”
完顏婁室軍至，山上守軍一哄而散。
平陽城中，河東西路安撫使，平陽知府林積仁召集都統製劉銳來商議：“劉統製，這金賊果然來了，聽說回牛嶺不戰而失，這可如何是好啊。”