龍場（今修文縣），在貴州西北萬山中。蛇虺群居，魍魎晝見，實在是西南最荒莽的地方。至明始設郡縣，地均夷人（即今之苗民），鴃舌不可辨其言語，兼之萬山叢莽，瘴癘特多。除卻夷人，或則中土亡命之徒，來至該處。但夷人居此，倒也甚為安舒；而自中土來的亡命，率多不勝疫瘴，或被夷人所殺而死，其存者不過十之二三。陽明未到此地之前，早知此種情形，所以在未來以前，便把生死置之度外了。
陽明初到龍場，哪曉得夷人卻有一種怪俗習，凡是自中土來的人，先就卜問蠱神，對於來者，可否留居。如卜吉，則不殺，而任其留居；否則便毆殺之。幸虧一卜而吉，方始安然無事。但初至時連居住的房屋都沒有一間，隻好暫棲於蔓荊叢棘裏麵，後乃遷到東峰以一石穴，結個草庵，權作安身之所。曾有詩以紀其事道：
草庵不及肩，旅倦體方適。
開棘自成籬，土階漫無級。
迎風亦蕭疏，漏雨易補葺。
靈瀨響朝湍，深林凝暮色。
群僚環聚訊，語龐意頗質。
鹿豕且同遊，茲屬猶人類。
汙樽映瓦豆，盡醉不知夕。
緬懷黃唐化，略稱茅茨跡。
這個草庵，雖然是高不及肩，然較之在荊棘之中，總要強出百倍。幸虧陽明還帶來幾個仆從，方得將這草庵合力築成。居住地方，雖已弄好，可是飽腹的米糧，又將告罄。於是仿夷人火耕之法，來從事於農了。
在東峰得一洞，改名為陽明小洞天。他詩中有“童仆自相語，洞居頗不惡。人力免結構，天巧謝雕鑿”語。足見此洞不惡。他的草庵，也就築在這洞中。
夷人性本好殺，但因陽明和藹，故反爭相親敬。見陽明食物告罄，互為貢贈。感化不數月，儼然如骨肉一樣。陽明又教給他們，削木為梁柱，刈草為蓋，建造房舍之法。由是四方模效，穴居野處的夷人，均有屋宇住了。