“陽明小洞天”的閑適生活並不曾持續太久，因為僮仆們的家常智慧到底擊敗了王守仁的自然科學理論：古洞裏哪有什麽陽氣聚積，實在比洞外的世界陰濕難耐太多。沒奈何，最後還是要伐木築屋，任市井小民的現實主義壓倒遷客騷人的浪漫情懷。
幸而在這段日子裏，當地的少數民族和王守仁漸漸親近起來。人類曆史上，不同文明之間總會充滿敵意，這種敵意其實來自生物本能當中的對陌生人的恐懼，而行之有效的消除敵意與恐懼的藥方，正如社會學家一再論述且證明給我們的，無非是接觸與溝通。在由生轉熟之後，我們往往會發現原本被我們視之如魔鬼、畏之如蛇蠍、斥之為蠻夷的陌生者其實隻是一些遵循著另樣生活習慣的我們自己。一言以蔽之，多怪緣於少見，寬容緣於識廣。
得了土著的援手，王守仁於近旁之龍岡“大興土木”，建成龍岡書院、賓陽堂、何陋軒、君子亭、玩易窩，終於“完滿”解決了安居問題。當然，這些房舍並不會因為有了漂亮的名號就改變了粗陋的本質，但漂亮的名號從來都最能夠體現主人的心態。
文人之例，每有建築，必有名目；每有名目，必有詩文。既有何陋軒，則必有《何陋軒記》：
昔孔子欲居九夷，人以為陋。孔子曰：“君子居之，何陋之有？”守仁以罪謫龍場。龍場，古夷蔡之外，於今為要綏，而習類尚因其故。人皆以予自上國往，將陋其地，弗能居也。而予處之旬月，安而樂之，求其所謂甚陋者而莫得。獨其結題鳥言，山棲羝服，無軒裳宮室之觀、文儀揖讓之縟，然此猶淳龐質素之遺焉。蓋古之時，法製未備，則有然矣，不得以為陋也。夫愛憎麵背，亂白黝丹，浚奸窮黠，外良而中螫，諸夏蓋不免焉。若是而彬鬱其容，宋甫魯掖，折旋矩矱，將無為陋乎？夷之人乃不能此。其好言惡詈，直情率遂，則有矣。世徒以其言辭物采之眇而陋之，吾不謂然也。始予至，無室以止，居於叢棘之間，則鬱也。遷於東峰，就石穴而居之，又陰以濕。龍場之民，老稚日來視，予喜不予陋，益予比。予嚐圃於叢棘之右，民謂予之樂之也，相與伐木閣之材，就其地為軒以居予。予因而翳之以檜竹，蒔之以卉藥；列堂階，辯室奧；琴編圖史，講誦遊適之道略俱。學士之來遊者，亦稍稍而集於是。人之及吾軒者，若觀於通都焉，而予亦忘予之居夷也。因名之曰“何陋”，以信孔子之言。