曾國藩的湘軍經過一番整頓之後，士氣大增，而曾國藩也是信心百倍，於是他們決定向戰敗的太平軍西征軍繼續發動進攻。而此時的太平軍西征軍也調整了戰略部署，那些以前守在湘潭的士兵在林紹璋的帶領下經靖港、嶽州，與曾天養的部隊會合。待兩軍會合之後，太平軍在曾天養的帶領下，返回嶽州，一番調整之後，準備與湘軍決一死戰。
當曾國藩得知太平軍加強了駐紮在嶽州的軍隊之後，也改變了先前的計劃，讓塔齊布帶七千人馬為先鋒趕到嶽州城，命羅澤南、周鳳山率數千人作為後援部隊。鹹豐四年（1854年）六月三十日，湘軍和太平軍開始了一番血拚，太平軍被擊敗，曾天養隻好帶部隊連夜退出嶽州城，守在了城陵磯。
城陵磯在嶽州城東北二十裏處，是長江通洞庭的一個軍事要塞，地勢十分險要，且易守難攻。當太平軍占領城陵磯之後，由於城陵磯的優勢所在，湘軍久攻不下，無奈之際，湘軍便采取了硬攻的方式，為此付出了慘重代價。七月十六日，曾國藩的水師將領褚汝航、夏鑾及清軍將領陳輝龍、沙鎮邦四人率各自水師直奔城陵磯。當時正好是順風，所以便衝入了太平軍的防守圈內。此時的太平軍早已等候多時，他們見有魚兒上鉤便收網撿魚，一時之間，風聲、喊聲、武器碰撞聲，亂成一片，士兵的鮮血也染紅了江水。
這一次戰鬥的結果是，湘軍水師慘敗，褚汝航、陳輝龍、沙鎮邦、夏鑾四人全部戰死，水師損失近一半。當聞訊而來的楊載福趕到之後，水師已是如喪家之犬，潰不能戰，退回嶽州。曾國藩得知這一結果後，心疼得直落淚。
湘軍水師慘敗之後，陸師便向太平軍發起進攻。七月十八日，塔齊布率軍進攻城陵磯，曾天養率軍迎戰，雙方展開了一場惡戰。曾天養和塔齊布各為兩軍中的勇猛善戰之人，他們率領的部隊也都是能打善鬥之人，一上戰場就把生死置之度外，所以兩軍各不相讓，打得你死我活。一番惡戰之後，曾天養看到了塔齊布，心想擒賊先擒王，於是大喊一聲便衝向了塔齊布。塔齊布眼疾手快，馬上揮舞著長槍迎戰，兩員猛將的一番血拚，讓身邊的士兵們瞪大了雙眼。