宋明儒者，其初莫不兼涉釋、老之學。大抵始博觀二氏，既無所得，乃反求諸六經，遂有所悟。故宋、明諸家，往往比較三教，為之評論，視隋、唐學者，愈精微矣。譬如唐韓愈亦本儒教以辟釋、老，顧所論至淺薄，由其得於釋、老者不深也。至張、程諸子所言，則能直抵閫奧。近人或以宋儒之學，論道體處，往往稍挾釋、老之意。故儒教及宋而一變，豈習之久則不覺有所取耶？陽明早年亦耽二氏，其戒門人蕭惠曰：“吾亦自幼篤誌二氏，自謂既有所得，謂儒者為不足學。其後居夷三載，見得聖人之學，若是其簡易廣大，始自歎悔錯用了三十年氣力。”（《全書》卷一）蓋陽明先好二氏，後悟其非，乃複歸於儒也。
陽明三十四歲，與湛甘泉定交，以倡明聖學為任。其贈陽伯詩曰：“陽伯即伯陽，伯陽竟安在？大道即人心，萬古未曾改。長生在求仁，金丹非外待。繆矣三十年，於今吾始悔。”又正德九年八月，《諫武宗迎佛書》曰：“臣亦竊嚐學佛，最所尊信，自謂悟得其蘊奧。後乃窺見聖道之大，始遂棄置其說。”（《全書》卷九）此又陽明自述其棄二氏而宗儒學之跡也。
陽明嚐論儒、釋俱養心，而釋不可以治天下。曰：“吾儒養心，未嚐離卻事物，隻順其天則自然，就是工夫。釋氏卻要盡絕事物，把心看作幻相，漸人虛寂去了，與世間無些子交涉，所以不可治天下。”（《全書》卷三）其序《象山文集》，辨世人疑象山學之類禪為非，亦略本此意。
釋氏貴解脫而非執著，其實不如吾儒之通達。彼惴惴焉逃避世間，恐為所累，吾儒則從容處之以正道而已。故陽明曰：“佛怕父子累，卻逃了父子；怕君臣累，卻逃了君臣；怕夫婦累，卻逃了夫婦。都是為個君臣、父子、夫婦著了相，便須逃避。如吾儒有個父子，還他以仁；有個君臣，還他以義；有個夫婦，還他以別。何曾著父子、君臣、夫婦的相？”（《全書》卷三）蓋釋氏以此世界為苦海，先須脫去生、老、病、死四苦，無所謂五倫。其於人生觀不免欠缺，故深為儒者所非也。