胡雪岩最後麵臨的一擊便是李鴻章手下盛宣懷導致的擠兌潮。胡雪岩早先就聽說過盛宣懷，但並沒有把這個人太放在心上。盛宣懷是李鴻章的得力助手，胡雪岩是左宗棠的左膀右臂，這樣的關係是不可能讓這兩人走到一起的。但是，當初有一件事情卻讓這兩個人想到一塊去了，那就是當年兩人都向各自的大人提出過設立電報局的想法。胡雪岩向左宗棠提出之後，左宗棠馬上稟報太後，請求設立電報局。但是當時朝廷內憂外患，其他國家正要逼近大清，太後經過朝堂商議之後，毅然以擾民亂眾、分散軍心為由把這件事給駁了回來。左宗棠很是生氣，不久就因為戰事去了兩江地區，也就把設立電報局的事情耽擱了下來。但是李鴻章卻沒有因此而耽擱此事，盛宣懷向李鴻章提出此事之後，李鴻章沒有直接向太後稟報，而是通過李蓮英事先打聽到了太後聽到左宗棠建議之後的生氣之舉。盛宣懷在此獻計於李鴻章，他提出在最短的時間內先把電報線架起來，到時候讓太後看到成功先進的電報，自然也就會同意設立電報局了。李鴻章采取了盛宣懷的建議，於是召集工人，聘請先進的技師，架電報線。在天津試驗成功之後，當太後看到成果也很高興，於是就同意設立電報局的事情，而盛宣懷也因此而獲功封賞。1881年慈禧太後命盛宣懷為電報局的督辦，主持電報局的一係列工作。
在這件事情上，盛宣懷做的的確比胡雪岩精明，但是，當時的胡雪岩並沒有像盛宣懷那樣看重名利和賞功。胡雪岩在那時候，正巧看到了在洋人壓榨下的江南生絲的生意，同時這也成為胡雪岩失敗的一個重要原因。
中法戰爭遲早要開戰，朝廷再次宣召左宗棠回軍機處主持軍事戰備，而此時的胡雪岩卻正好在上海揮巨資購買生絲，準備和洋人進行一場生絲大戰。李鴻章和盛宣懷也開始打胡雪岩的主意，利用左宗棠不在其身邊這個機會，想要狠狠地給胡雪岩一記重創。