昔孔子欲居九夷，人以為陋。孔子曰：“君子居之，何陋之有？”守仁以罪謫龍場。龍場，古夷蔡之外，於今為要綏，而習類尚因其故。人皆以予自上國往，將陋其地，弗能居也。而予處之旬月，安而樂之，求其所謂甚陋者而莫得。
王陽明在被貶到偏遠的龍場後，並未因當地生活條件艱苦而痛苦不堪，反而以此為樂，正如他自己在《何陋軒記》中寫的那樣：“孔子當初想居住在九夷，弟子們都認為九夷環境太簡陋了，不宜居住。孔子卻認為，君子居住在那個地方，就會用君子之風去影響當地的人，將文化傳播到那裏，改變那裏的習俗，哪裏還會簡陋呢？我（王陽明）因為犯了錯誤而被貶到龍場驛站來，這龍場在古代是蠻荒之地，在今天卻成為政府安撫少數民族的重點地區，但這裏的生活條件依舊很落後。人們都以為我這從繁華的大都市來的人難以在這簡陋的地方居住，然而，我卻在這簡陋的環境裏安然處之，以苦為樂。”
據當時隨同王陽明前往的弟子說，龍場簡直就是野生動物園：毒蛇遍地，野獸奔走，在路上行走，一不小心就會踩到蛇的尾巴。每天早上醒來，由於山中的空氣夾雜著毒氣，常使人感到胸悶、頭痛欲裂；且山中大霧彌漫，很難看清道路，行走時一不小心就會摔得頭破血流。更糟糕的是，因為龍場驛站年久失修，已經沒有房子可供居住，王陽明和弟子們為房子問題費了不少心思。他們先是搭了一個茅草棚棲身，但考慮到易受野獸襲擊，就又選了個山洞住下，但山洞太陰冷潮濕，王陽明的隨從們都病了。
即使是在這樣惡劣的環境裏，王陽明仍然十分樂觀，他不僅將居住的山洞命名為“陽明小洞天”，還親自劈柴火、打水、煮粥，喂生病的隨從吃飯，還為他們唱家鄉小調、講故事，以撫慰他們低落的心情，對隨從在病中的小脾氣也是百般容忍。此外，他還積極與當地居民互通有無：他教當地居民打土坯，用木頭建房子；當地居民則教他種糧食，還到山裏砍伐木材幫他搭建了幾間房屋，王陽明將其命名為“龍岡書院”，後來又有了“賓陽堂”“何陋軒”“君子亭”等建築，成為王陽明龍場開悟、講學的重要場所。