關公即寫書一封，辭謝曹操。寫畢封固，差人去相府投遞；一麵將累次所受金銀，一一封置庫中，懸漢壽亭侯印於堂上，請二夫人上車。關公上赤兔馬，手提青龍刀，率領舊日跟隨人役，護送車仗，徑出北門。
——引自《三國演義》第二十六回
且說於禁、樂進隨進征進，也已探知劉備在汝南，回許都後將此事報與曹操。曹操心中憂急，便令張遼夤夜前來打探關公本意。關公正悶坐廳上，張遼已穿堂而入，舉手賀道：“弟聞雲長兄在陣上得知玄德公音信，特來賀喜。關公讓座，令下人奉茶，怏怏不樂道：“雖知故主現在，但未得一見，何喜之有！”張遼遂道：“雲長兄與玄德之交，比弟與兄之交何如？”關公聞之，不由落淚道：“我與文遠兄雖義氣相投，又各與呂奉先有師門之誼，但亦止於朋友之交也；我與皇叔玄德，卻是朋友而兄弟、兄弟而君臣者也，豈可共論？”
張遼聽關公提及呂布，隱然有指責自己背主之意，不由心虛膽寒，隻得依曹操之意，最後問道：“今即知玄德公現在河北，未知雲長兄是全忠以留在許都，匡扶漢室社稷，還是全義以投汝南，往從皇叔？”關公審視張遼良久，歎息道：“如今之許都，諸臣隻知有曹司空，豈知有漢天子？某即願盡忠，又忠於何人？且昔日結拜之盟，安肯背之！文遠兄土山之約，又豈能忘之！斬顏良以解白馬之圍，誅文醜以疏延津之困，關某已有報於曹公，話符前言而矣。我意已決，來日辭別天子而去，望文遠須為我致意曹公。”張遼聽了關公之言，半晌無語，隻得告辭回告曹操，曹操也是無言，揮手令其退出。
次日平明，關公上朝，見曹操及其心腹不在，遂向獻帝遞了辭書，說明離開許都，前去尋找兄長劉備，共舉義旗，興扶漢室之意。獻帝明知其意，也知不可強留，隻得勉勵數語，賜酒三杯，令張繡送至殿外。關公辭了天子，出宮隨至司空府衙，欲當麵拜辭曹操。曹操即知關公來意，乃懸回避牌於門，不令相見。關公怏怏而回府中，命舊日跟隨人役收拾車馬兩輛，又寫書一封，遣人送往大司空府，以辭謝曹操。曹操看了關公辭書，隻作不知，也不回複。次日侵晨，關公不見曹操回複，隻得長歎一聲，將九名美女安頓於府中，自己率十數名舊日部從，出得府門，跨上赤兔馬，手提青龍刀，護送車仗徑出南門。門吏擋之，關公怒目橫刀，大喝一聲，門吏盡皆退避，早有人飛馬到司空府報信去了。