西安將軍福興在1857年春向中央政府遞交了一份報告。報告中，他憤憤不平地說：“我敢確信，在這個世上，除了曾國藩外，沒人能指揮得了湘軍。這是一支無紀律、且目無尊長（除了曾國藩）的軍隊，完全不可用。”
福興這人飯桶一個，平時判斷芝麻蒜皮的小事都能走眼，但這份報告卻一語中的。在當時的世上，除了曾國藩外，確實沒有第二人可以指揮湘軍。福興這份報告是在去視察湘軍瑞州軍營後寫就的，據他說，他本來是以主人翁的身份去瑞州軍營。想不到那些湘軍土鱉將領把他當成視察官，對他百般恭敬，繁文縟節樣樣沒有落下。這意思已很明顯：你不是我們的主人，從哪來回哪去吧。
湘軍不能被曾國藩之外的人指揮，連胡林翼都印象深刻。鹹豐把福興的抱怨說給胡林翼聽，要他想辦法整頓湘軍，胡林翼直言不諱地對鹹豐說：“這些人隻認曾國藩，沒有曾國藩的許可，他們連我都不認。”
鹹豐暴跳如雷，要下旨強行解散湘軍，但想一想就打消了主意，因為現在，他們還有用。他唯一能做的事就是睜隻眼閉隻眼。但很快，他睜的那隻眼也閉上了。
在江西的湘軍並非鐵板一塊，而是派係林立。這裏既有曾國藩純湘係的湘軍李元度、劉騰鶴等部，也有和曾國藩鬧過矛盾的王錱部，還有被曾國藩見死不救過的江忠源係統的楚軍劉長佑等部。這些統兵將領，派係不同，互不統屬，各自為戰，缺乏統一的領導和指揮。他們不但和長毛打，有時候也和政府正規軍打，甚至有時候自己也打。江西官員們屢屢向鹹豐請求援助，鹹豐唯一的援助就是，閉上另外一隻眼。
鹹豐雙眼都閉上後，江西前線又發生不小的轉折，1857年七月，曾國藩的一員愛將在攻打瑞州時陣亡，下月，王錱死於軍營，之前被胡林翼邀請出山的曾國荃也在全軍後退。江西形勢的變化引起了北京方麵有識之士的高度重視。