《道餘錄》這本書，是站在佛家立場上，對儒家的三位巨匠北宋二程與南宋朱熹的排佛學說大加撻伐。在《道餘錄》序言中，姚廣孝言辭淩厲：
三先生同輔名教，惟以攘斥佛老為心。太史公曰：世之學老子者，則絀儒學，儒學亦絀老子。道不同不相為謀，古今共然，奚足怪乎？三先生既為斯文宗主，後學之師範，攘斥佛老必當據理，至公無私則人心服焉。三先生固不多探佛書，不知佛之底蘊，一以私意，出邪詖之辭，枉抑太過，世之人心，亦多不平，況宗其學者哉！
姚廣孝雖然通儒，但其學問根基在佛老。儒佛之爭，在宋、元兩朝，一直未曾停歇。雖然帝王信佛是多數，但在讀書人特別是大儒那裏，對佛持批判態度的不在少數。朱元璋建國後，雖然尊崇佛教，但亦推崇儒學。他親定朱熹學說為儒學正宗。規定天下士子必讀。朱子思想上宗二程。這三個人的學說風靡天下，姚廣孝欲伸佛學，以他的“嗜殺”的性格，首先想到的，必然是拿二程與朱熹開刀。他認為，二程遺著中有二十八條，朱熹語錄中有二十一條，都是妄斥佛理，極為謬誤，他遂逐條批駁，現摘錄幾則觀其大概：
伊川先生曰：學佛者難。吾言人皆可以為堯舜，則無仆隸不材。言人皆可以為堯舜，聖人所願也，其不為堯舜是可賤也。故曰為仆隸。
逃虛曰：佛願一切為眾生，皆成佛道。聖人言又皆可以為堯舜。當知世間、出世間，聖人之心未嚐不同也，伊川知此否？
晦庵先生罔論釋氏多有神異，疑其有之。曰此未必有，便有亦隻是妖怪。
逃虛曰：神異一事，非但有佛有之，至於天仙龍鬼，雖大小不同，亦皆有之，心學佛者，當求安心法門，頓悟妙理為務。若真積力久，自然神通光明，非是顯異惑人也。若言佛之神異為妖怪，朱子亦怪矣。