嘉靖五年（1526年）四月，南大吉入京覲見皇帝，結果卻遭到了貶謫。但是，在南大吉當時寫給王陽明的書信中，所有內容都是以聞道為喜，以做不好學問而著急，擔憂自己恐怕至死都不會成為聖人，沒有一個字牽扯到自己的貶謫。
王陽明讀完之後，感歎說：
“此非真有朝聞夕死之誌者，未易以涉斯境也！”
於是，王陽明在回信中說：
世之高抗通脫之士，捐富貴，輕利害，棄爵祿，決然長往而不顧者，亦皆有之。彼其或從好於外道詭異之說，投情於詩酒山水技藝之樂，又或奮發於意氣，牽溺於嗜好，有待於物以相勝，是以去彼取此而後能。及其所之既倦，意衡心鬱，情隨事移，則憂愁悲苦，隨之而作，果能捐富貴，輕利害，棄爵祿，快然終身，無入而不自得已乎？夫惟有道之士，真有以見其良知之
昭明靈覺，廓然於太虛而同體。太虛之中，何物不有，而無一物能為太虛之障礙。故凡慕富貴，憂貧賤，欣戚得喪，愛憎取舍之類，皆足以蔽吾聰明睿智之體，窒吾淵泉時出之用。如明目之中而翳之以塵沙，聰耳之中而塞之以木楔也。其疾痛鬱逆，將必速去之為快，而何能忍於時刻乎？關中自古多豪傑。橫渠之後，此學不講，或亦於四方無異矣。自此有所振發興起，變氣節為聖賢之學，將必自吾元善昆季始也。今日之歸，謂天為無意乎？
其實，南大吉之所以能夠修行到如此高的境界很大一部分都得歸功於王陽明的熏陶。