就這樣，王陽明在蕪湖停留了半個月。一天夜裏，他默然坐在岸邊，看到水波拍岸，汩汩有聲，長歎一聲說：
“以一身蒙謗，死即死耳，如老親何？”
當時，他還對弟子們說：
“此時若有一孔可以竊父而逃，吾亦終身長往不悔矣。”
王陽明當時真的可以說是進退維穀，去也不是，回去也不是。沒辦法，王陽明再一次進入九華山中，每日端坐草庵內。有一天，他換上便裝重遊化城寺。當他來到地藏洞時，不覺想起自己二十七歲時在此洞和老道談論儒釋道三教的情形，而自己如今已經四十九歲了，二十二年的光陰一晃而過。想到自己受功名利祿的羈絆不得自由，進不得麵見聖上，掃除奸佞；退不得歸臥林泉，專心講學，不覺淒然長歎，取來筆硯題詩一首：
愛山日日望山時，忽到山中眼自明。鳥道漸非前度險，龍潭更比舊時清。會心人遠空遺洞，識麵僧來不記名。
莫謂中丞喜忘世，前途風浪苦難行。
王陽明見到岩洞中有僧人正在打坐修行，就問他：“何時到此？”
僧人回答說：
“已三年矣。”
王陽明不禁感歎說：
“吾儒學道之人，肯如此精專凝靜，何患無成。”然後又作詩一首：
莫怪岩僧木石居，吾儕真切幾人如。經營日夜身心外，剽竊糠秕齒頰餘。俗學未堪欺老衲，昔賢取善及陶漁。年來奔走成何事，此日斯人亦啟予。
張忠等人偽造聖旨阻止王陽明前來麵聖，但他們卻在武宗皇帝麵前誣陷王陽明不來拜謁。武宗皇帝私底下問張永對此事怎麽看。張永秘奏說：
“王守仁已到蕪湖，為彬等所拒。彼忠臣也，今聞眾人爭功。有謀害之意，欲棄其官入山修道。此人若去，天下忠臣更無肯為朝廷出力者矣。”
張永的一席話讓武宗皇帝非常感動，於是下旨任命王陽明為江西巡撫，要求他限期回到江西處理政務。正德十五年（1520年）二月，王陽明返回南昌。三月，上疏乞求減免江西省的賦稅。王陽明對祖母非常孝順，念及祖母對自己的養育之恩，他連續三次上疏請求回老家吊唁祖母，但都沒有獲得朝廷的允許。