蘇州府常熟縣支塘鄉，有一座賀舍廟，是前元宗藩宴客的場所。國初改為廟宇，供祀猛將。隆慶四年初，江南巡撫海瑞為督疏浚白茆塘之工，臨時駐節於此。這座古廟旁，有古銀杏三株，所結白果名佛指甲，質糯味香，遠近聞名。這天午時，海瑞用罷午飯，正站在銀杏樹下仰頭上望，一匹快馬奔馳而來，海瑞轉臉看去，隱約可見騎馬者是巡撫衙門的書辦。須臾，快馬在離海瑞兩步遠的地方停下，書辦下馬施禮，雙手呈上一份邸報。從他的表情看，似乎邸報上載有不好的消息。海瑞拿起邸報急忙翻看，映入眼簾的，正是在他回應戴鳳翔彈章所上《被論自陳不職疏》上的一段長長的批示：
看得都禦史海瑞自撫應天以來，裁省浮費，厘革宿弊，振肅吏治，矯正靡習，似有惓惓為國為民之意。但其求治過急，更張太驟，人情不無少拂。既經言官論劾前因，若令仍舊視事，恐難展布。相應議處，合候命下，將本官遇有兩京相應員缺，酌量推用。遺下員缺，先行會官推補。
海瑞雙手顫抖，滿臉憋得通紅，怔怔地看著不遠處的工地，良久不發一語。海安見狀，忙上前接過邸報，順手攙扶著海瑞的臂彎往賀舍廟裏走。剛走了幾步，海瑞停下來，低聲說：“免巡撫一事，先不要張揚，以免影響河工。”
進得廟內，海瑞頹然坐在座椅上，牙關緊咬，明顯是在極力抑製自己的憤怒，他臉色鐵青，嘴唇發紫。良久，長歎一聲：“唉——天下事，果不可與俗人為之也！”
海安問：“不讓老爺做巡撫，那老爺不是說，還有一個總督糧儲的官嗎？還讓不讓老爺做了？”
海瑞茫然的眼神裏，流露出不屑的光芒：“總督糧儲，本就是閑差，做不做甚無謂！總歸是他們容不下老爺我這樣的官！”
“老爺，這個高相爺，怎麽一上來就與老爺過不去，是不是因為當年老爺罵他，幫徐相爺把他趕走了，他報複老爺？”海安道，他又誇張地驚歎說，“唉呀耶——！前一陣都在傳，說這高相爺上來，非把那些趕他走的人往死裏整不可！”