據《陽明先生行狀》記載，在湛甘泉離開京城一年之後，即正德七年（1512）冬，黃綰也因病返鄉。王陽明特意寫了詩文送別，還委托黃綰在天台山和雁**山附近購置土地，修建房屋，以便以後一起養老。王陽明和黃綰的故鄉同為浙江，而天台山和雁**山正是浙江的兩座名山。
在隋代，天台宗的開宗祖師智大師曾在天台山傳教，於是天台山聲名大振。雁**山則是自宋代開始出名，由南雁**山、中雁**山和北雁**山組成，其中尤以北雁風景最佳。雁**山諸峰林立，奇峭險怪，在頂峰有一個方圓數十裏的大湖，湖水常年不枯竭，每當春天來臨，必有大雁飛來嬉戲，故取名雁**山。雁**山中大小瀑布不可勝數，其中最大瀑布的落差多達數十丈，有“飛流直下三千尺，疑是銀河落九天”之勢。無怪乎有人會稱讚道“天下奇秀莫出於此山”。
王陽明在《贈別黃宗賢》（《王文成公全書》卷二十）一詩中寫道：
古人戒從惡，今人戒從善。從惡乃同汙，從善翻滋怨。紛紛嫉媢興，指謫相非訕。自非篤信士，依違多背麵。寧知竟漂流，淪胥亦汙賤。卓哉汪陂子，奮身勇厥踐。拂衣還舊山，霧隱期豹變。嗟嗟吾黨賢，白黑匪難辨！
詩中“拂衣還舊山”一句其實是在誇讚黃綰敢於拋棄俗學，立誌於聖學，並且篤誌於聖賢之道的勇氣。
此外，王陽明還在《別黃宗賢歸天台序》一文中寫道：
君子之學以明其心。其心本無昧也，而欲為之蔽，習為之害。故去蔽與害而明複，匪自外得也。
心猶水也，汙入之而流濁；猶鑒也，垢積之而光昧。孔子告顏淵“克己複禮為仁”，孟軻氏謂“萬物皆備於我”“反身而誠”。夫己克而誠，固無待乎其外也。
世儒既叛孔、孟之說，昧於《大學》“格致”之訓，而徒務博乎其外，以求益乎其內，皆入汙以求清，積垢以求明者也，弗可得已。