明武宗正德三年（1508 年）春，王陽明經過長途跋涉，終於來到了貴州龍場驛。
龍場驛為彝族土司奢香夫人於明洪武年間所設。明太祖洪武十六年（1383 年），貴州都指揮使馬曄，因為有大漢族主義的偏見，便無端地汙辱了貴州宣慰使奢香。奢香忍辱負重，上京麵見朱元璋，狀告馬曄。朱元璋召回馬曄，將其下獄，並賞賜奢香金銀及絲織品等物。奢香為了報答朱元璋的恩典，自願開山通道以方便驛使往來。奢香回到貴州後，一麵宣揚朝廷的威德，使人心安定。另一麵履行諾言，親率各部，組織投入巨大的人力物力，披荊斬棘，開辟了以偏橋為中心的兩條驛道，史稱“龍場九驛”。
龍場驛為龍場九驛中的首驛，驛址在離貴陽不遠的龍場即後來的修文縣城。王陽明到達時，龍場驛已經破敗不堪，加上山中潮濕發黴，根本無法居住。
王陽明感到一陣悲涼，第二天他出去熟悉周圍環境。在驛站南兩裏有一座小孤山，名叫棲霞山，也就是人們常說的龍崗山。他在小山上搭了一間矮小的茅屋作為棲身之所，並寫下了《初至龍場無所止結草庵居之》一詩：草庵不及肩，旅倦體方適。
開棘自成籬，土階漫無級。
迎風亦蕭疏，漏雨易補緝。
靈瀨響朝湍，深林凝暮色。
群僚環聚訊，語龐意頗質。
鹿豕且同遊，茲類猶人屬。
汙樽映瓦豆，盡醉不知夕。
緬懷黃唐化，略稱茅茨跡。
從詩中可以看出，王陽明居住的草屋矮小、簡陋，附近還有野鹿、野豬。王陽明又在小山上找到了一個洞穴以供暫時歇息，閑時就研習《易經》，因此他把這個山洞取名為“玩易窩”。
王陽明在晚上住在草屋內，草屋應該比當時的杜甫草堂還簡陋。但王陽明卻不以為意，並將房子取名何陋軒，它的出處是《論語》中“君子居之，何陋之有”。