到達揚州西門，已是三更時分，城門緊緊閉著，全無燈火，連狗叫聲都聽不到。
他們一行十二人，好不容易走到城門外，又是饑餓，又是疲困，那種狼狽相，實在不堪言狀。他們左找右找，連一個歇腳的地方也沒有。原來李庭芝正在實行堅壁清野的政策與阿術抵抗，城郊附近的房屋，早就拆盡燒光了。
天色深沉，總得先找個地方休息。他們又回頭走了半裏多路，才找到一座坍塌的破廟。大家走進去，破廟裏都是亂草，連屋頂也不見了，隻剩下半截牆壁，香案台上都是露水。
大家也顧不了這些，十二個人東倒西歪地癱在地上。好不容易熬到四更天，天色微明，有一群運貨的鄉下人，哼哼唷唷地走過廟門口，他們便跟著這些人一起到西門等候開門。
大家又緊張起來，進了城，是生是死還不知道。杜滸說：“既然李庭芝當初非令苗再成殺我們不可，現在又怎麽會相信我們呢？我們不如先找個地方躲起來，到晚上投奔高郵，然後再從通州渡海南下，尋找二王，再圖複興之義舉。”
金應卻說：“離城不遠就有元軍的哨兵，從這兒到通州五六百裏，怎麽能走到呢？與其路上受苦而死，還不如死在揚州城下，這好歹是咱們自己的土地啊！而且，李庭芝也不一定會殺我們。”
其他人，有的同意杜滸的意見，有的同意金應的說法。平時處事很果斷的文天祥，此時也沒了主意。而且這裏又離元軍占領的揚子橋很近，不是久留之地，怎麽辦呢？文天祥犯起難來。
就在這個時候，餘元慶卻引來了一個賣柴的鄉下人，他說：“相公，這個人知道一條去高郵的近路。”
“白天趕路不方便，現在你能找個地方讓我們避一避嗎？”杜滸問那個樵夫。
“先到我家住一天吧！”那個鄉下人說。