歸寂派認為，陽明若說“致良知”，就不會論及孟子的“夜氣說”；同樣，如果他主張孟子所謂的“集義”及“必有事焉”，那就不會特別強調以“勿忘勿助”為工夫之要。因為這些工夫全都是“致虛守寂”的工夫。
原來，孟子提出“夜氣說”是由於人們喪失了良心，故指出其萌動處以便加以培養。陽明對“夜氣說”的主旨是能夠諒解的。但因為若要悟得良知，首先就必須用“致”的工夫。所以如果提倡“夜氣”以求寧靜，那就像“守株待兔”那樣徒勞無益了！陽明認為，良知之體因為本來是寧靜的，所以據“夜氣說”而求寧靜，就如同騎驢而求驢那樣，會失卻主腦生機而流於枯槁，從而陷於自私自利、將迎意必之誤。這就是陽明批評“夜氣說”的理由（參見《傳習錄》中，《答陸原靜書》二）。
然而，雙江認為，“夜氣”之存養就是良知本體的培養，本體據此就會自然發用而通達於人倫庶物，進而生生發展而日新月異。因此，他是主張夜氣存養說的（參見《聶貞襄公文集》卷6，《寄王龍溪》二）。而他之所以特意提出陽明未及注意的孟子“夜氣說”，則是為了救正修證派和現成派的弊病。因為修證派在已發上用工夫，而纏綿於好惡相近；現成派忘卻良知培養，以現在為具足，而陷於任情肆意。可見，雙江揭示此說的目的並不是企圖背叛師門。
陽明說過：“集義隻是致良知，說集義，則一時未見頭腦。”（《傳習錄》中，《答聶文蔚》）又說：“其工夫全在‘必有事焉’上用。‘勿忘勿助’隻就其間提撕警覺而已。”（同上）但雙江在給陽明的書函中則說：“集義之功，不忘則助，甚難為力。”（《聶貞襄公文集》卷6，《答陽明先生書》）他提倡“集義”，並論述了“勿忘勿助”工夫與“集義有事”為一體的重要性。但他以集義之“集”為斂聚之義，從而把“退藏於密”當作敦化之原的工夫（參見《困辨錄·辨心》），並視之為存養夜氣的丹藥，點鐵成金的功力（參見同上書，《辨神》）。念庵也以“集義”為未發和廓然的培養工夫（參見《羅念庵文集》卷3，《與尹道輿》），並把“有事”視為培養專一的工夫（參見同上書卷3，《答劉月川》）。