江彬、張忠、許泰領著幾萬京軍離開南昌，是不告而別的。前一天這幾萬人還住在城外的兵營裏，第二天兵馬突然開拔，根本沒有通知江西地方官府。等王守仁知道消息帶著官員們趕來“送行”的時候，江彬和他的大軍已經走遠了。
江彬不通知王守仁就擅自撤軍而去，當然是做個嘴臉給這位代理江西政務的南贛巡撫看，表明自己根本沒把這個巡撫看在眼裏。同時，這也是江彬心裏發虛，不願意再和王守仁見麵。因為自從成為正德皇帝身邊的寵臣以來，這還是第一次，江彬的**威在一個地方官員麵前碰了壁。
江彬這幫東西耍什麽花樣根本不重要，要緊的是京軍已經離開了南昌，而且一路撤出了江西省。剛剛遭了一場兵劫的江西百姓算是死裏逃生，王守仁和南昌百姓們鬆了一口氣，趕緊複耕田地，修繕房屋，盡力修補戰亂給江西造成的巨大損失。然而王守仁卻不知道，懷恨離去的江彬、張忠、許泰等人早已下了決心，要在正德皇帝麵前傾陷王守仁，壞他的名聲，罷他的官，最後取他的性命。
在回南京的路上，江彬、張忠等人已經商量好一套說辭，一進南京江彬立刻來見正德皇帝，張嘴就說：“皇上，臣在南昌查到證據，王守仁在南贛巡撫任上就與寧王多有往來，後來他在南贛收羅山賊數萬人，本想和寧王一起造反，哪知寧王屢攻安慶不克，朝廷大軍又迅速南下，王守仁眼看叛難成，這才從背後襲擊叛軍，捉了寧王。現在王守仁做了江西巡撫，將自己早先搜羅的人馬和寧王叛軍合在一起，反相畢露，皇上不可不查！”
誣陷王守仁，這是江彬的工作。可江彬本是邊關將領出身，粗蠢得很，編出來的瞎話漏洞百出，連朱厚照都聽不下去了：“這是什麽話！寧王造反的時候，湖廣、浙江、南直隸數省全無戒備，王守仁要造反，當然是和寧王一起造反才對，哪有先滅了寧王，等各省皆已備齊兵馬，朕也禦駕親征到了南京，他才忽然造反的道理，這不是自尋死路嗎？”