為忤了劉瑾，弄得貶謫到龍場，三年之後，謫的期限也滿了。朝廷升他為廬陵縣的知縣，在宦海一落千丈的陽明，漸漸地要往上升浮了。
赴任時，路過常德辰州，遇見舊日門人冀元亨、蔣信、劉觀時等，又聞得他們都能卓然自立，不諧流俗，不禁大喜。說道：“謫居兩年，無可與語者，歸途乃幸得友，悔昔在貴陽，舉知行合一之教紛紛異同，罔知所入，茲來與諸生靜坐僧寺，使自悟性體，願恍恍若有即者。”即又在途中寄信與冀等說：“前在寺中所雲，靜坐事非欲坐禪入定也。蓋因吾輩平日為事物紛拏，未知為已，欲以此補小學收放心一段工夫耳。明道雲：‘才學便須知有用力處，既學便知有得力處。’諸友宜於此處著力，方有進步，異時始有得力處也。”這段話，就是陽明告學者悟學的法子，是很有價值的。
他自從上任之後，對於政事，不用盛刑，專以開導人心為本。這不是他的迂腐處，乃是他為政的重要學問題處。他已知道用刑是治不好人民的，惟有正本清源，先從開導人心起，方易收民善之效。他考稽舊製，選舉縣中三個年高德厚、品端行粹的老人，作為治理詞訟之事的總裁判，自己隻在旁邊做個監督，坐視三老審判。他為什麽要這樣做呢？原來我國人的心目中，最敬重的就是年歲又高、德行又好的老人，所以俗有“凡事要好，須問三老”之諺。陽明已看到了這點，故選三個有德的老人來主持訟事。如若有人訴訟什麽事，便使三老向來訴訟的人，委曲勸諭。一般人民，均悔過自責，甚至受了感動太深的，還要泣下。明代的訴訟之風，原是非常之盛，而廬陵縣的人民，更是健於訟爭。自從陽明這樣把人心一一開導，便都覺得訴訟，是件極不好的事，除非是出於萬不得已，方來訴訟，否則再也不來。由是積弊已除，囹圄為之日清。