嘉靖元年，嚴嵩擔任南京國子監侍讀，嘉靖四年又擢升為南京國子監祭酒，在這期間，他與同在南京的張璁、桂萼皆有往來，尤其與桂萼往來頻繁，二人皆是江西籍，是鄉黨，平日裏詩書往還，多所頌揚，不僅如此，其子嚴世藩與桂萼之子還同延請一師，關係可謂是相當親密。
那時，他的官秩要遠高於張璁、桂萼，完全有機會融入禮儀派，但當時他卻看不清形勢，再則也是自持身份，沒有摻和到大禮儀一案，待的張璁、桂萼平步青雲，先後入閣，他連腸子都快悔青了。
這些年，桂萼對他頗為照拂，他的仕途亦是一帆風順，不過，鑒於朝中對禮儀派攻訐的凶猛，且張璁、桂萼二人因爭權而不和，他一直與禮儀派是若即若離，可即便如此，也經常遭受言官攻訐，嘉靖八年，工科給事中陸粲攻訐張璁、桂萼之時，就連他一塊掃了進去。
如今，桂萼病故，張璁致仕，他也被打發來南京養老，這叫他如何甘心？苦苦琢磨之下，他便發現，胡萬裏或許是個機會，這小子有能耐，點子多，能夠時時引起嘉靖的注意，再則，以這小子與張璁的關係，算是不折不扣的禮儀派，張璁複出就無須說了，即便張璁不能複出，李時、方獻夫、汪鋐亦會將其納入一黨，多加照拂。
因此，在張璁致仕的這段時期，折節下交胡萬裏，對他而言。實是利大於弊，難得的是這小子在詩文方麵小有名氣。完全可以詩書往還。
且說二人進了西院的花廳，謙讓幾次才分主賓落座，一落座，嚴嵩便含笑道：“在京師便聽聞長青赴福建上任之時，夜遊秦淮，連吟兩首堪稱傳世之佳作，老夫此番來南京就任，尚能在秦淮河上聽的歌女傳唱。一晃三載，長青可另有佳作？”
說什麽都好，就是別談詩詞，胡萬裏夾袋裏如今可沒有上好的詩詞，見對方一開口便是詩詞，他便微笑著道：“實不敢當勉庵公謬讚。”微微一頓，他才接著道：“為官以來。整日案牘勞形，忙於打板子，撥算盤，忙著迎來送往，哪裏還有閑暇吟詩做詞，讓勉庵公見笑了。”