湘軍持續的勝利並沒有維持多久，很快他們又栽了一個大跟頭。在基本上控製江西以後，湘軍李續賓部開始著手攻打安徽。當時，已經改帶陸師的李孟群在廬州附近被太平軍包圍，多次給李續賓發來求救信。於是，李續賓和他的六千將士踏上了遠征廬州的征程。曾國藩的弟弟曾國華當時在李續賓軍中，也跟隨李續賓前往安徽。
本來一切都是很順利的，但就在李續賓率部**的時候，發生了一件意外事件。胡林翼的母親在這節骨眼上病逝了。為了避免權臣擁兵自重，清政府對於孝道的推崇到了無以複加的地步。胡林翼雖然知道此時他萬萬不能離開，但還是回到了益陽老家，替母親守喪。
湘軍之所以在曾國藩回家的這段時間裏取得如此多重大的勝利，胡林翼的調度是非常關鍵的因素。現在胡林翼離開了，湖北的軍政大權落到了無能的官文手中，而曾國藩此時的地位也很尷尬，不能調動太多的兵力支援李續賓。於是，悲劇就不可避免地要發生了。
曾國藩似乎預感到了這一局麵，他在給李續賓、李續宜兄弟的信中說：“自潤帥（胡林翼，號潤芝）離開以後，不但我和你們兄弟、雪琴（彭玉麟，字雪琴）、厚庵（楊載福，字厚庵）等人失去了依仗，而且關係到東南大局的安危。聽說湖北方麵準備請官帥（官文）上奏朝廷，命潤帥守孝百日後就出來統籌大局。這件事實在是難辦，古往今來像潤帥這樣關係天下安危的人，極為罕見。”
然而，還沒等胡林翼守完百日孝，李續賓率領的湘軍六千精銳就在廬州周邊的三河鎮被陳玉成、李秀成的聯軍包了餃子，李續賓、曾國華都在這一戰中喪生。 李續賓率領的這支部隊，以湘鄉勇為老班底，所以是各路湘軍當中最精銳的部隊。這支部隊先後攻克武昌、湖口、九江等具有重大戰略意義的城市，能打大仗、硬仗，深為胡林翼、曾國藩等人倚重。它的覆滅，對於胡林翼、曾國藩是沉重一擊。得知三河戰敗的消息後，胡林翼再也沒有心思在家守孝了，立馬出山收拾殘局。