得力大將死的死、走的走，隻剩下一個仰天長歎的曾國藩。
曾國藩及其湘軍退守江西後，雖咬牙堅持，困獸猶鬥，但勝敗參差，始終也不能從根本上扭轉軍事上的被動局麵。清鹹豐五年（1855年）四月初八日，太平軍分成幾股打進江西境內，攻陷了義州，南昌城聞訊趕緊戒嚴。義州失守，受到關聯的不僅僅是一個南昌，就連湖南“亦有東顧之憂”。因為義州與湖南平江、瀏陽近在咫尺，太平軍有從“此路窺伺長沙”之想。
曾國藩對局勢看得很清楚，如果不能迅速消除義州這個心腹之患，那麽三麵受敵的湖南就“萬難支持”了。雖然調羅澤南急赴義州進剿，但能不能“急急克複”，“以絕兩省腹心之患”，曾國藩的心裏也沒有什麽底。隻能慨歎：“大亂之弭，豈盡由人力，亦蒼蒼者有以主之耳！”[5]
形勢不容樂觀，曾國藩不能不有所作為。清鹹豐五年（1855年）六月十三日，曾國藩派水師出擊徐家埠，並委派知縣李錕帶領陸勇協同作戰，燒毀太平軍戰船八十餘艘，獲得小勝。水師本欲乘勝拿下卡壩、梅家洲，卻出師不利，以傷亡數十人的代價黯然收場。與此同時，塔齊布的陸營倒是比較順利，在新壩擊潰太平軍，獲得勝利。
就在曾國藩於江西苦苦掙紮之時，湖北局勢驟然惡化。湖廣總督楊霈兵敗德安府，逃奔襄陽。鹹豐帝一怒之下，將楊霈革了職。
對於楊霈的結局，曾國藩頗不以為然，因為他早就看出楊霈難得善終。不用說別的，就看楊霈手下的那些鄂勇一觸即潰、趁亂搶劫糧台的惡行，就知道他必敗無疑。《曾國藩年譜》就記曰：“鄂軍在德安者屢敗不振。”曾國藩甚至曾直接上奏鹹豐帝說：“湖北兵勇不可複用。”
羅澤南沒有辜負曾國藩的期望，先後擊敗梁口、乾坑、鼇嶺、雞鳴山等地的太平軍，於同月十六日收複義州；蕭捷三率水師擊敗太平軍於鞋山；李元度破太平軍於徐家埠，形勢出現轉機。