因此，外界譏嘲甚多，有人譏諷說“自請出征，不應支領官餉”；有人指責說“不應稱欽差”；有人說他曾經革職，不應專折奏事。歲月既久，關防屢換，往往被人“疑為偽造”。部將出差外省，外省地方官不予信任，對蓋有關防之公文不予理會，甚者竟將湘部出差外省的官員關押，加以侮辱。如果現在再赴江西軍營，又須改刻關防，則勢必愈難取信於人。軍營官兵立功受獎，鹹豐六年（1856）所請“實官執照”，至今尚未領到。
此外，文員之憑，武官之劄，皆由督撫轉交曾營，常遲久而不到。“軍中之事，貴取信義如金石，迅速如雷霆，臣則勢有所不能，此辦事艱難之一端也。”
曾國藩仔細觀察局勢，認為“非位任巡撫，有察吏之權”，決不能治軍，決不能兼及籌餉。
曾國藩伸手向清政府要督撫的官位，並不僅僅為個人爭地位，主要是為湘軍爭權利、爭待遇。按照清朝的慣例，曾國藩帶的兵如此之多，作戰能力又遠較八旗、綠營為強，立下的軍功又如此之大，授予巡撫，功賞過薄，不足塞其欲壑，若授予總督，則軍政大權集於一身，又為朝廷所不甘。這可是一件難題。而恰在此時，胡林翼等已攻占了武昌，形成了高屋建瓴之勢，水陸師直搗九江。
長江下遊方麵，自鹹豐七年四月何桂清接替怡良為兩江總督後，江南大營日有起色，正在進攻鎮江，捷報頻傳。所以清廷便決定將長江上遊戰事責成湖廣總督官文、湖北巡撫胡林翼，將下遊戰事、攻陷天京的希望寄托在何桂清與和春的身上。認為這樣處理，定操勝算。因此，斷然拒絕了曾國藩幹預朝廷用人大政，並撤銷了他兵部侍郎的職務，將他開缺在籍守製，削除了他的兵權。同時命署理湖北提督的楊嶽斌總統外江水師，惠潮道彭玉麟協同調度。這樣的結果，致使江西湘軍很快陷入了渙散狀態。