龍場在貴州省西北部，受中央朝廷任命的宣慰使管轄。龍場周邊都是大山，荊棘密布，蛇虺魍魎橫行，蠱毒瘴癘肆虐。當地土著居民有自己的語言，外人根本聽不懂。言語相通者，大都是來自中土的亡命之徒。龍場中人大多沒有像樣的居所，隻能堆起個土包，棲居其中。
王陽明來到龍場之後，為了教會當地百姓蓋房子，親自挖地基、壘牆、架木為梁、割草蓋屋頂等，最終自己蓋成了一棟小屋。當地民眾紛紛效仿，於是才有了類似於中原的房子。
後來，當地百姓見王陽明的居所潮濕簡陋，於是就一起鑿岩伐木，給他建了更為寬敞的住所。先後有了寅賓堂、何陋軒、君子亭、玩易窩等建築，統稱為“龍岡書院”。王陽明在書院周邊種上了竹子、花卉和草藥等，整日在其中吟詩作賦，並漸漸地學會了當地的語言。王陽明開始教授當地百姓禮義孝悌的思想，影響越來越大，後來很多其他地方的夷人也都跑來聽他講學。陽明先生耐心地開導他們，從不會覺得厭煩。
過了一段時間，王陽明收到一封家書，其中寫道：
逆瑾聞先生不死，且聞父子相會於南都，益大恚忌，矯旨勒龍山公致仕還鄉。
自此，王陽明對父親的擔心就更加強烈了。