由此可見，楚望非難宋明理學的理由，是因為他把宋明理學看作是以心性為宗而執（佛之）心法，並遺棄外物（即民物經世、實事實踐）的學說。這是因為楚望把“心”視為神明之宅，是具眾理、應萬事的活潑之體，從而也可以看作是道德世界的樞紐。而“心”又是虛位而不可見的存在，隻有在具體的行事中才能存養，若專以宗心為旨，就會以心觀心、捕風捉影、騎驢覓驢。這樣的話，“心”反而會迷失方向、失去歸宿，以致陷入佛氏的明心見性、清淨寂滅、頑空無用之弊（參見《時習新知》卷4）。
原來，世儒所謂的心法並非孔、孟的特別心法。聖賢所說的養心、存心，其實並不一定指的是“法”。因而，雖以經世民物為旨，但如果以心、知、意等的工夫即心法為學之根本，自然難以擺脫離卻下學而隻求上達的佛老之弊。例如朱子之“格物”，因為以“致知”為入門，所以陷於佛氏空寂；陽明的“致良知”，因求“不起一念”，所以陷於捕風捉影；兩者都是在發揮禪的意思，而為浮圖樹赤幟（參見同上書卷3、卷2、卷6）。張子的《正蒙》隱奧深刻；邵子的《皇極經世》窮高極遠，然其《觀物篇》則荒誕不經；而朱子所謂的“知識”隻是小道而非民之急務。在楚望看來，上述三人中無論是誰，強調的都不是“下學”之工夫（參見同上書卷6）。
由此可見，主張下學即上達的楚望，進一步認為“事即心”、“行即知”，乃是理所當然的。這與陽明把心、知擴大到事、行，並把心、知等同於事、行的做法是背道而馳的。對於楚望來說，事、行是心、知的最精切處，所以學之重點在於實事實踐。他認為，因為知是心之神明，因而性之德便是道德性的感知之本，即《大學》所謂的“明德”。然而因其體是虛的，所以若不依靠行的實地之功，就會變成佛、老二氏的虛知荒唐。所以他強調，聖人之教，即以行為知，不行不能知（參見《時習新知》卷1；《小山草堂集》卷8）；並且例舉出《論語》的“知及仁守”、“力行學文”，《孟子》的“行著習察”等來加以論證；同時還引用《易》的說法作為自己的論據，強調指出：“離卻日用常行，即無妙道。百姓日用而不知，不用而知者，天下鮮有矣。”（《時習新知·題辭》）所以他認為，孔子所謂“民可使由之，不可使知之”之教頗具遠見（參見同上書卷6）。在他看來，如果無行之實而隻是探念慮之微，或者求聞見之廣，那就內有影響而無實，外則泛濫而無本，歸根到底無非是揣摩恍惚。因此，他認為，朱子作為學之要的格致、陽明作為學之大本的“致良知”，都墮於此一窠臼（參見同上書卷4、卷8）。