在甘泉看來，其所言的“隨處體認”說，由於心感應於事，即知天理之實體，因而又相當於《大學》的格物（參見《湛甘泉文集》卷6，《大科書堂訓》；同書卷7，《答陳宗亨》，《答王宜學》）。所以他強調，吾學在於“格物”，並以“格物”之學批判陽明的“致良知”說，還借此駁難了佛老之學。(23)
但甘泉雖強調“格物”，卻排斥那種通於佛學的儒者之說。他之所以反對“有物則格而去之”的楊慈湖之格物說，就是因為把它看作是和求絕根塵的佛說同旨的緣故（參見《楊子折中》）。(24)
甘泉的格物說，遵從程伊川而把“格”訓作“至”，並以“格物”為“窮理”（參見《湛甘泉文集》卷20，《泗洲兩學講亭》；同書卷7，《答聶文蔚侍禦》《答陽明王都憲論格物》）。但問題是，如果以“格物”為“窮理”的話，那為什麽《大學》不言“理”而言“物”呢？
甘泉認為，理本來就與物渾然一體，如果把理從物中分離出來，那麽理就會失實而成虛，致使格物與人倫脫節，這就如同佛學的窈冥昏然，而終至於排斥倫理。因此，他把徒然求理視為不得心體的根源。據此，他認為，以物為心意之著見而求理於本心的陽明格物說，盡管出於對以往舍心而向外求理的格物說弊病的擔憂，但畢竟是以內為是、以外為非的，因而難免會有遺物之弊（參見同上書卷7，《與陽明鴻臚》《答太常博士陳惟浚》）。
此外，甘泉在回答陽明格物論的書函（同上，《答陽明王都憲論格物》）中，還列舉了堅持己說的五條理由，並提出了反對陽明訓“格”為“正”、釋“格物”為“正念”的唯心格物說的四條理由，從而批判了陽明之說。例如他說，如果像陽明那樣解釋“格物”，就會與《大學》的“正心”重複，並違背其格物主旨。又說，正念之說，要麽陷於以無諸相、無根塵為正念的佛氏之虛無，要麽陷於以邪為正的楊墨之自私，因而是以學行為多餘，而背離古來聖賢的講學精神的。