長時期以來，曾國藩一直在清政府的猜忌和地方大吏排擠的夾縫中求生存。尤其是在坐困江西的過程中，始終受到江西大吏的排擠和刁難。這是因為曾國藩一直是以團練大臣的身份來創辦湘軍，又以此身份率軍打仗，這被當時抱守殘缺的官員視為越軌行為。鹹豐五年（1855）夏，曾國藩丁憂期滿，雖被補授為兵部右侍郎，但仍沒有地方實權，仍沒有欽差的頭銜。湘軍雖負有“能征善戰”之名，但不屬於國家的正規兵製，地位不能與八旗、綠營相比。由於曾國藩沒有地方實權，湘軍也便以客軍的地位出省作戰，大部分的軍餉就不得不仰仗江西，這就不能不使曾國藩備感處於別人屋簷下的苦悶與不便。甚至地方官唆使兵丁闖入他的行轅，想加害於他。曾國藩要在江西聘用官員去抽厘籌餉，被江西官員視為越權的行為，於是出現了針鋒相對的態勢，謾罵、刁難如同暴雨一樣不斷襲擊著他，使得曾國藩多年以來如履薄冰。有一件事情頗能表現曾國藩這一時期的處境。
曾國藩到江西時，巡撫為陳啟邁，與曾國藩是同鄉，又一同在翰林院為官，此次曾國藩來江西作戰，本應格外親切，倍加照顧。但與之相反，陳啟邁卻覺得曾國藩來江西與太平軍作戰，無疑遮住了他的光芒，於是他處處刁難。在江西萬載有個舉人，名叫彭壽頤，由於辦團，對抗太平軍，深得曾國藩的賞識，決定將其調入幕府。但彭壽頤與知縣不睦，恰在此時鬧翻，以至於對簿公堂。在這樣的情況下，陳啟邁收到了曾國藩調用彭壽頤的谘文，他認為這是曾國藩有意袒護彭壽頤，與自己挑釁，於是一怒之下，不僅不允許調用，反而將其投入獄中，嚴刑拷打。曾國藩忍無可忍，遂羅列了一些事實，將陳啟邁彈劾。但繼任巡撫文俊，並未因此對曾國藩態度有所改善。