原來自從郭援兵敗和袁尚被圍困的消息傳遞到滎陽，袁紹便派人將荀諶接來，就是為了聽取他的意見。
荀諶道：“我軍強攻了兩個月，傷亡十數萬兵馬，損失的糧草輜重更是不計其數，這些損失已經初步影響到後方的穩定。現在泰山臧霸和黑山張燕都有所異動，一旦我軍繼續失敗，難免會後院失火，不如就此撤兵，要求曹操放歸圍困在溫縣的我軍士兵，作為回報我軍也放棄河內郡中南部那些曹軍本就占據的地方，再命審正南加強鄴城一線的防守，等到了來年秋天，我軍穩定了後方，當可卷土重來。”
郭圖聽了荀諶的話就想要反駁，但話到口邊突然想到對方已經是潁川荀氏的大家主，地位非同以往。再加上這次三公子袁尚吃了一個大虧，袁氏內部重臣對立儲的風向又倒向袁譚，他便強忍了下來，竟是默認了荀諶的說法。
袁紹猶豫不決，恐一旦退兵遭天下人嗤笑，便說自己再考慮一二。
袁軍各將、參讚先後離去。
郭圖偷偷找上荀諶：“荀先生。”
“公則。”
郭圖將心中疑惑道出：“荀先生，我軍還有一戰之力，為何要退軍？”
荀諶道：“我軍高舉清君側的大旗，但總歸是沒有站在大義的一方，天下間各方諸侯都視大將軍為逆賊，多有掣肘。繼續進攻隻會放大這種在道義上的劣勢，使得我軍全麵落在曹操下風。”
郭圖急道：“所以我軍才要攻入司隸，將朝廷大義搶在手中。”
“真的能搶在手中嗎？”荀諶冷笑，“公則不會忘了當年董卓是怎麽做的了吧？”
“這…”
郭圖無法回答。
荀諶又道：“大將軍想差了，你我也都想差了。這天下間劉姓之人比比皆是，又何必去追逐唯一的那個大義呢？”
郭圖心頭一顫：“你是說…”