與弼從學有胡居仁、婁諒、陳獻章。居仁字叔心，饒之餘幹人。弱冠，即奮誌聖賢之學。往遊與弼門，遂絕意科舉，築室梅溪山中，事親講學，不幹人事。久之，欲廣聞見，適閩曆浙，入金陵，從彭蠡而返。與鄉人婁諒等為會於弋陽之龜峰，餘幹之應天寺。嗣又講學白鹿、貴溪、桐源諸書院。居仁嚴毅清苦，家世為農，至居仁而窶甚，鶉衣脫粟，蕭然自得。他嚐說：
心無主宰，靜也不是工夫，動也不是工夫。靜而無主，不是空了天性，便是昏了天性，此大本所以不立。動而無主，若不猖狂妄動，便是逐物徇私，此達道所以不行。己立後自能了當得萬事，是有主也。
又曰：
今世有一等學問，言靜中不可著個“操”字，若操時又不是靜，以何思何慮為主，悉屏思慮，以為靜中工夫，隻是如此，所以流於佛老。不知操是持守意，即靜時敬也。若無個“操”字，是中無主，悠悠茫茫，無所歸著。若不外馳，定入空無。此學所以易差也。
又曰：
意者，心有專主之謂。《大學解》以為心之所發，恐未然。
婁諒字克貞，別號一齋，上饒人。少有誌於聖學，嚐求師四方，夷然曰：“率舉子業。”聞與弼在臨川，乃往從之。與弼一見喜之，曰：“老夫聰明性緊，賢也聰明性緊。”一日治地，召諒往，曰：“學者須親細務。”諒素豪邁，由此折節，躬親掃除，不責僮仆。與弼學規，須來學者始見，餘則否。羅倫未第時，往訪，與弼不出。諒告與弼：“此一有誌知名士，奈何不見？”與弼曰：“我那得工夫見小後生？”倫不悅，移書四方，謂是名教中作怪。張元楨從而和之。與弼置若不聞。諒語二人曰：“君子小人不容並立。使後世以康齋為小人，二兄為君子無疑。儻後世以君子處康齋，不知二兄安頓何地？”兩人之議遂息。胡居仁頗於諒有訾評，嚐謂：