首輔嚴嵩的府邸，在京城的私宅中，可以說首屈一指。出東華門向北一箭遠的路程，再拐過一個彎，就是巍峨壯麗不減朝堂的嚴府了。因為是嚴嵩接首輔後聖上特旨營造，故而也就不避輿情，極盡奢華。三進院落，各有庭院，還另辟後花園，又在西邊隙地增建休憩之地——寄適園。
嚴世蕃接印太常寺不久，一個休沐之日，特意邀請高拱、李春芳、殷世儋、王世貞和我，到嚴府寄適園小聚。
嚴世蕃在邀貼中說，他此番乃是邀請詞林翹楚歡聚。高拱有兩部著作刻印，在院超過了十年，已是久負盛名的編修；李春芳是狀元公，名聞天下；殷世儋是我的同年，目下也是翰林院編修，號稱學究，熱衷刻刊論著；王世貞其人，雖仍任刑部主事，文壇領袖的聲名卻冠壓公卿，無論是士大夫還是詞客羽流，隻要能得到王世貞的片言褒賞，其作品立時就會聲價驟起。所以此三人自然可稱詞林翹楚：而我本人尚無名氣，有幸獲邀，還是有幾分得意。
盡管嚴世蕃在朝野口碑極差，士林目之為屑小；坊間則以衙內、惡少稱之，但百官對嚴世蕃既恨又怕；既想躲避他，又想接近他。所以，獲得嚴世蕃主動邀請，就連一向低調、說起嚴世蕃總是嗤之以鼻的高拱和王世貞，也未敢爽約。
寄適園的“三雅堂”，寬敞豁亮，從其堂名來看，這是專門用於飲宴之所了。甫一入座，王世貞就搖頭晃腦道：“曹丕《典論》有大雅、中雅、小雅之載，曰大雅盛酒七升、中雅六升、小雅五升。此堂以之命名，足見主人有雅量。”
嚴世蕃“哈哈”一笑，並未接茬：“打個誑語何如？”也不等眾人回應，又道：“嚴某先來。”說著，端坐椅上，不苟言笑，慢悠悠地講起來：“說是兵部尚書丁汝燮巡視五城巡捕衙門，吩咐武選司員外郎楊繼盛代擬訓詞。楊繼盛把訓詞呈報丁汝燮說：‘訓詞共三點，兩點概述五城巡捕衙門之政績，一點提出期許。’丁汝燮覽後曰：‘上邊兩點甚突出，下邊一點，毛毛草草，有水分。馬上修改！’楊繼盛對曰：‘稟本兵，還是日後再說吧。’”