王陽明的品德感化了龍場的百姓，他們逐漸和王陽明親近起來。王陽明也積極學習當地語言，努力和他們交流。當時王陽明住在石洞中，潮氣較重，對身體健康不利，當地百姓就提議給他建間小木屋，王陽明自然非常高興。在眾人的幫助下，不到一個月小木屋就竣工了。
為此，王陽明特意作了兩首詩，題為《龍岡新構》（《王文成公全書》卷十九），據此我們可以想見小木屋的一些基本情況。
謫居聊假息，荒穢亦須治。
鑿巘薙林條，小構自成趣。
開窗入遠峰，架扉出深樹。
墟寨俯逶迤，竹木互蒙翳。
畦蔬稍溉鋤，花藥頗雜蒔。
宴適豈專予，來者得同憩。
輪奐非致美，毋令易傾敝。
*
營茅乘田隙，洽旬始苟完。
初心待風雨，落成還美觀。
鋤荒既開徑，拓樊亦理園。
低簷避鬆偃，疏土行竹根。
勿剪牆下棘，束列因可藩。
莫擷林間蘿，蒙籠覆雲軒。
素缺農圃學，因茲得深論。
毋為輕鄙事，吾道固斯存。
據此我們可以得知，依靠眾人鑿岩取石、斬枝取木，小木屋才最終得以建成。小木屋的造型和周圍的景致也非常協調。
此外，屋子周圍還遍植花草。打開窗子，遠處的群峰一覽無餘；俯瞰下去，山麓中的山寨錯落有致。盡管木屋沒有高樓大廈那麽美觀，甚至顯得有些寒酸，但來客可以在裏麵輕鬆自在地休息。屋子是眾人在忙完農活間隙幫助建造的，所以蓋了十天才顯出雛形。為了避開一棵臥鬆，人們將木屋建得比較矮。王陽明在疏鬆的土裏種下幾根竹子，同時保留牆角的荊棘，並把它們修剪成列，做成籬笆。藤蔓爬到屋子上，自由自在地生長。另外，王陽明還開辟了一條小路，做了一個小農圃。
王陽明在《龍岡新構》的序中提到當時有弟子建議將小木屋取名為“龍岡書院”，但他覺得不妥，於是命名為“何陋軒”，並且還作了一首《何陋軒記》（《王文成公全書》卷二十三），敘述了定此名的緣由。