雖然無恤早有心理準備，但是麵對來勢洶洶的三家聯軍，還是有些不知所措。他將家臣召集起來，想聽聽大家有什麽意見。大夥兒七嘴八舌，有的說要退守代地，有的說最好向齊國借兵，還有的說小不忍則亂大謀，不如同意智伯的要求。隻有一個人一直沉默不語，等到大夥都說累了，他才站起來對無恤說：我認為應該火速退往晉陽，憑借晉陽的城牆抵擋智伯一到兩年。
這個人名叫張孟談，時任趙氏家相。在《史記》中，張孟談被記載為張孟同，那是因為司馬遷窮講究，為避他父親司馬談的諱而改的。
無恤馬上問了張孟談兩個問題：第一，你為什麽認為晉陽能夠抵擋智伯一到兩年？第二，兩年之後怎麽辦？
張孟談回答：“晉陽是當年先主命董安於修建的。董安於才能出眾，晉陽被他治理得井井有條，後來的官員都依著他的辦法管理，那裏城牆堅固，錢糧充足，戰備齊全，我說守一兩年是保守，實際上能撐個三五年也未可知。至於兩年之後的事，您也知道韓、魏兩家和智伯並不齊心，隻是迫於壓力才跟著他來對付咱們。隻要咱們能夠抵擋兩年，他們內部必定出現分裂，那咱們就有機會反擊了。”
無恤采納了張孟談的建議，於是命令集結家臣和族兵，開赴晉陽。
到了晉陽之後，無恤巡視一圈，回來就大罵張孟談：“好你個大騙子，說什麽晉陽錢糧充足，戰備齊全，全是扯淡！我去看了，糧倉分明是空的，府庫裏也沒有錢，城牆倒是修得又高又厚，但是已經年久失修。你說，我拿什麽抵擋三家大軍，拿你的腦袋嗎？”
張孟談還是不慌不忙，等無恤把脾氣發完了，才說道：“下臣聽說，聖人治理國家，藏富於民，不藏於府庫；致力於道德教化，不關注城牆有沒有修繕。”