太平天國越鬧越凶，由南到北，旦夕千裏，眼見離杭州不遠，胡雪岩已不能不早做打算。
胡雪岩起家在杭州，生意的重心也在杭州，雖然近來在上海也有所發展，但根本之地畢竟還在杭州，況且此時何桂清已任浙江巡撫，王有齡任湖州知府，這兩人不同程度都受過胡雪岩的幫助，在商場上對胡雪岩都是傾力相助，使胡雪岩的生意無往不利，但這太平軍一到，哪裏還能保全，無奈之下，胡雪岩先是把部分資金暗裏轉運上海以防不測，但他身為有名的士紳大賈不能做得太過，如果太過明顯一定會引起更大的恐慌，對市麵不利。
1861年（鹹豐十一年）4月末，太平天國侍王李世賢，率部由江西玉山進入浙江境內，5月李世賢率軍攻占金華府城，建立侍王府，接著攻克武義、蘭溪、永康。9月下旬忠王李秀成由贛入浙。此後，太平軍兵分幾路出擊浙江全境。李秀成所率的一路經桐廬、臨安攻克餘杭，進抵杭州，並且向杭州城裏射了一支勸降信。
王有齡接到勸降信後，讀罷就撕得粉碎，大罵李秀成不止，堅決抗戰到底。
見王有齡誓死不降，李秀成指揮太平軍開始攻城。11月上旬，太平軍攻破城外饅頭山及望江門、候潮門、鳳山門外的清軍大營。接著，在鳳凰山、清波門一帶挖地道，又在海潮寺至鳳凰山頂架木雲梯圍攻杭州。
此時的杭州城糧已盡，一升米一兩銀有價無市。滿城饑民哀號之聲不絕於耳，餓殍遍地，凡草根、樹皮、水草、浮萍、舊皮箱也都食盡，真如人間地獄一般。於是，王有齡讓胡雪岩帶著錢出城買糧食。胡雪岩答應了王有齡，當天夜裏辭了王有齡，趁黑逃出了杭州城，雖然瞞過了太平軍，卻還是摔傷了一條腿，最後曆盡千辛萬苦，終於來到了上海。
逃出城去的胡雪岩知道責任重大，他經曆千難萬險買來糧食，由洋槍隊護衛帶船回杭州，可是，在途中聽到了王有齡自殺殉職的消息。這對胡雪岩來說如同晴天霹靂，他朝杭州方向磕了三個頭，駕船離去。