蘇州失陷使李秀成設在馬塘橋與蘇州互為犄角的大本營也失去了作用。他置將被圍攻的無錫城於不顧，率部趕到丹陽屯紮。
丹陽守將、英王叔格王陳時永接待了他。當時李世賢屯紮在丹陽南溧陽，勸他不要再返天京，另行尋找出路。
李世賢雖是天王一手提拔，但通過解救天京之圍等戰的失利，對天王的一味說天、剛愎自用，大有抵觸。天王以巧列種種名目、巧取豪奪諸王兵權的行為，他更是公開違抗。李世賢因此也被革爵削權，其中的一次就是發生在太平天國癸開十三年（1863）改太平天國為“天父天兄天王太平天國”。李秀成供詞稱：
去年天王改政，要闔朝內外大小軍營將相，民家亦然，凡出示以及印內，俱要刻天父、天兄、天王字樣安入，印內不遵者五馬分屍。軍稱天軍，民稱天民，國稱天國，營稱天營，兵稱禦林兵。那時人人遵稱，獨我與李世賢不服聲稱，李世賢現今亦未肯稱此也。然後天王見李世賢不寫此等字樣，即而革職，現今李世賢之職尚未複回。天王號為天父、天兄、天王之國，此是天王之計，將此來情，雲天上有此之事，瞞及世人。天王之事，俱是那天話責人，我等為其臣，不敢與其駁，任其稱也。稱天朝、天軍、天民、天官、天將、天兵、禦林兵者，皆算其一人之兵，免我等稱為我隊之兵。稱為我隊我兵者，其責之雲：“爾有奸心之意，天軍、天官、天兵、天國，那有爾兵！”不稱天兵、天國、天官者，恐人霸占其國，此之實言也。何人敢稱自兵者，五馬分屍。又改各王之號，此是天王失算。
李世賢對天王奪臣子兵權是很有意見的。
李世賢要另找出路還有一個因素是從戰爭實踐裏得來的，即是在東南之地要能打開勝利局麵，是難中之難。他和他的部將，就因為清將勾結洋鬼子攻陷寧波，深受洋鬼炮火利害所苦，他曾就此事與李秀成談起，李秀成聯係左宗棠老湘軍在洋鬼子用炮攻破紹興、富陽等情事，很有同感。李秀成後來在供詞裏還作了記述：