僥幸躲過一場追殺，又到武夷山走了一遭，王守仁終於還是要去貴州當那個命裏注定的驛丞。
這時的王守仁已成驚弓之鳥，總覺得自己被人跟蹤，時時擔心遭到暗害，不敢直接到南京去，隻得繞了個大彎子，先橫穿半個福建到了江西，從贛江東下到南昌，又從這裏雇船出鄱陽湖進入長江，經安慶、蕪湖到南京，這一路上始終走水路，沒事不上岸，盡量隱藏形跡，以免被人盯上。
這時候老父親王華已經知道王守仁被貶為驛丞的消息，也估計兒子去上任之前必來南京相見，可等了很久也不見人來，忽然又接到王守章送來的信，說兄長在杭州跳了錢塘江！真把王華嚇得夠嗆。正在悲傷之時，王守仁忽然從天而降，一家人又驚又喜。
王守仁到南京已是正德二年十月間的事了，這時禦史言官被皇帝釋放已近一年，離王守仁在杭州遇到刺客也有大半年了。這段日子朝廷的局勢更趨緩和，大臣們早已不敢反抗，正德皇帝對文臣的迫害也停止了。大太監劉瑾權傾朝野，手裏掌握著京城禁軍十二團營，東廠、西廠、內行廠三個特務機關，對外以司禮監掌印的身份與內閣首輔平起平坐，滿朝官員無不仰其鼻息，心驚膽戰。而劉瑾意氣風發，大權獨攬，每天賣官鬻爵，收賄索賄，忙得不可開交，早把“王守仁”三個字忘到九霄雲外去了。
對劉瑾來說王守仁不過是隻螞蟻，踩了一腳沒踩死，就不值得再踩第二腳。這對王守仁而言當然是值得慶幸的事，在南京城裏休息了一個多月，這才和父親商量到貴州當驛丞的事。於是王華給兒子準備了一筆錢，找兩個忠實可靠的仆人跟著他，又囑咐了無數的話，這才讓王守仁離開南京，到龍場驛上任去了。
正德三年春天，也就是被貶為驛丞整整一年之後，王守仁在王祥、王瑞兩個仆人的陪同下慢吞吞地到了貴陽，先到知府衙門遞了公文，又歇了幾天，這才出了貴陽城往深山中的龍場驛走去。