回到湖南後，左宗棠仍然隱居到白水洞。當時湖南巡撫駱秉章聽說左宗棠返鄉，非常興奮，馬上備下厚禮，親自寫下書信，派人去請左宗棠，如是再三，其意甚恭，然而都被左宗棠回絕了。左宗棠此時剛剛離開張亮基，太平軍又風頭正銳，清軍累戰不利，勝負難料，所以他決意退隱，因此就算駱秉章真心相邀，也沒能將他再請出山來。
駱秉章知道江忠源與左宗棠兩人守長沙時交情不錯，合作默契，便讓江忠源去請。江忠源也是比較了解左宗棠的脾氣的，他知道如果駱秉章都請不動左宗棠，自己也是無能為力的。加之軍務繁忙，他就給郭嵩燾寫了封信，讓郭嵩燾來勸左宗棠。信中有一句“非為忠源而來，為天下而來也”。但即便是搬出了天下百姓，左宗棠也沒有應允，隻在自己的洞府中避亂。再往後，胡林翼、曾國藩都曾多次相請，左宗棠一概不應。
然而，後來的事情卻不似左宗棠預想的那麽簡單。本來左宗棠是想要隱居山林，不問世事的，但是後來太平軍連連取勝，湖南的大部分已經被太平軍掌控，此時又傳出風頭說，左宗棠當年助張亮基守長沙的事，已經給太平軍知道了，他們發下通緝令，要拿左宗棠尋仇。左宗棠聞知消息後十分吃驚，這可不是鬧著玩的，一旦太平軍真的進山搜捕，把他一家老小都帶走，那可就是真的叫天不應，叫地不靈了。因為據史料記載，當時太平軍對於俘虜的態度很強硬，在攻占武昌時候，對投降、俘獲的官軍，他們都一律處死，隻留下了少許幾個開門迎降的官員當向導。並且太平軍在攻克城池之後都要打開監獄，釋放囚徒，很多地痞流氓也被放出來，他們頭裹紅巾，混在太平軍隊伍裏胡作非為，為害一方。因此，在左宗棠看來，現在自己的處境是萬分危險的。