嘉靖五年（1526）夏，右僉都禦史聶豹趁巡察福建省之機，渡過錢塘江，來越地拜訪王陽明。
聶豹初會王陽明時並未拜師，其後也隻是書信往來，自稱晚生。兩年後，聶豹聽聞王陽明已逝，為其擺設靈位，慟哭不已。
王陽明去世後的第四年，即嘉靖十一年（1532），聶豹見到錢德洪與王龍溪，說：我的學問完全是王陽明先生所授，如今先生已經不在了，我想正式拜師卻不能夠了。請二位做證，我要擺香案祭祀先生，行拜師之禮。
自此聶豹自稱為王陽明的門人，而聶豹後來則成為王門歸寂派的巨匠。
聶豹與王陽明分別後，寫下一封長達千餘字的書信寄給王陽明，王陽明也回了一封長信《答聶文蔚（一）》（《傳習錄》中卷）。在回信的開頭，王陽明引用了聶豹書信中的一段，論述自己已經做好心理準備。
聶豹在信中提及王陽明的學說遭世間非議，如下評論道：“與其盡信於天下，不若真信於一人。道固自在，學亦自在，天下信之不為多，一人信之不為少。”
王陽明對此深表讚賞，說：“斯固‘君子不見是而無悶’（《周易·乾卦·文言傳》）之心……乃仆之情則有大不得已者存乎其間，而非以計人之信與不信也。”意思是說，自己提倡新的學說是不得已而為之，不應在意世間的評論。
他又講述了自己想要用以良知為本的天地萬物一體之仁心來拯救天下：
夫人者，天地之心，天地萬物，本吾一體者也。生民之困苦荼毒，孰非疾痛之切於吾身者乎？不知吾身之疾痛，無是非之心者也。是非之心，“不慮而知，不學而能”（《孟子·盡心章句上》），所謂“良知”也。良知之在人心，無間於聖愚，天下古今之所同也。世之君子惟務致其良知，則自能公是非，同好惡，視人猶己，視國猶家，而以天地萬物為一體，求天下無治，不可得矣。