貶官的旅途倒不急迫，這算是唯一的好處了。
正德三年（1508年），王守仁抵達了龍場驛這個新的任所。
其實自武夷山之後，他的行程究竟如何，今天已經很難考證。 (5)無論如何，總是一番棧石星飯，總是一番結荷水宿，原本的似錦前程在身後越拋越遠，這位年已三十七歲的中央官員終於以驛站管理員的身份在崇山峻嶺中成功就任。雖然他早已經對龍場驛做了最壞的預想，但他發現自己的預想還是過於樂觀了。
古代的集權政府要想使政令在一個龐大的帝國裏行之有效，必須建立起一個龐大的交通網絡。交通網絡上的節點便是驛站，往來官吏可以在這裏歇宿，傳遞公文的差役可以在這裏換馬。
明代極重驛站建設，一來是便於中央集權式的管理，二來可以吸納大量的閑散勞力，免得他們變成四處生事的流民。驛站的建設既然有無遠弗屆的必要，注定會有一些驛站設置在人跡罕至的蠻荒之地，到這種地方任職簡直形同流放。
龍場驛更屬於荒蠻中的極品：論地理環境，處於貴州西北萬山從棘之中；論生態環境，有毒蛇環伺，瘴癘漫山；論人文環境，能接觸到的除了語言不通的少數民族，就是從中原逃竄過來的亡命之徒。讓一個自幼在文明社會裏長大的人來這裏適應原始生活，實在殘忍得令人發指。
龍場驛的建製，隻有驛丞一名、馬二十三匹、臥具二十三副，但洪武年間的建製到了正德年間也隻是徒有虛名罷了，此時的驛站幾乎與廢墟無異。周邊左近雖幸而不是荒無人煙的地方，但寥寥的一些人煙盡過著近乎原始的生活，甚至連房舍都沒有。
文明人初入蠻荒，人文知識一概沒了用場，原本不甚要緊的簡單技術反而成為第一要務：王守仁開始和僮仆一道搞起了範土架木的安居工程——今天我們在一些偏遠鄉村仍然能見到這一類古老的住宅樣本，夯土築牆，木龍骨的屋頂框架，茅草鋪設的屋頂。來自文明社會的一點點最粗淺的技術，便足以在蠻荒之地創造生活品質的飛躍，畢竟茅舍和豪宅的差異遠不如有房和無房的差異。這一番淒苦境遇寫入《初至龍場無所止結草庵居之》詩中之後，看起來竟然也有幾分詩意：