胡雪岩出身寒門，由極盛而衰，僅曆時十三載，家族剛形成便遭遇變故而解體。說到顯赫，這個家族隻有個人，並沒有先跡或後續的傳承。
曾被批判為“買辦資本家”的胡雪岩，在近些年，忽然成為民間文化熱捧的“紅頂商人”。但對子孫而言，日子一如既往，“如果我們活在祖上的榮光裏，早就無法麵對現實生活了”。
逃離“芝園”
“夜裏火苗從帳子上燎起，發著藍色的光”，1918年“芝園”的一場蹊蹺火災，結束了餘息尚存的杭州最顯赫家族的曆史。胡雪岩在1885年的衰敗，並沒有將胡家徹底擊垮。奈何一場始料不及的火災，讓他精心經營起來的宅子和一大家子，迅速分解。
時值嚴冬，為防火災而設的大銅缸裏，水全部凍成了冰塊。胡雪岩的孫媳婦戴泳霓在慌亂中大喊一聲“是我的人跟我走”，帶著丈夫胡萼卿這一支的老老少少，逃了出來。整個家族人多平安，但是“芝園”被燒得不堪收拾，隻殘留門口的轎廳一間，一家人殘度臘月新年。這一天也成為胡家的“家難日”，往後每年此日，全家吃素一天，年年不忘。
當若幹年後，戴泳霓向長孫女胡筱梅念及此事，一直覺得“火裏好像摻了油的”，認為與爭家產的糾紛相關。論及1918年火災時的家境，胡雪岩早已於1885年病故，錢莊倒閉，“芝園”和胡慶餘堂也抵給了文家。
接過胡慶餘堂的文煜，並未將胡家人趕出“芝園”，他為了讓胡慶餘堂保留“雪記”的名號，給了胡家子孫一點“招牌股”，成為他們聊以度日的主要來源。胡慶餘堂的老藥師趙玉城說，1股“招牌股”大約值1萬銀元，文家給了18股，分給胡家三房男丁。
胡雪岩有三子五女，長子胡楚三19歲便早歿，次子胡緘三育有兩子，三子胡品三育有四子，人丁最為興旺。這些大大小小的分支中，各房積蓄了不少私房錢，加上平日穿戴的金銀細軟，仍舊算得上富裕人家。高牆深院內的胡家“芝園”，曾是讓牆外普通人家覬覦的神仙宮殿。胡雪岩的旁係第五代孫胡德輝提到，當時杭州很多人家連房子都住不起，就沿河搭建棚子，河邊多水患，常被水衝走。胡家雖然遭遇變故，但是“餓死的駱駝比馬大”，生活並不差。隻是胡雪岩富甲一方的日子，子孫們已覺得恍若隔世。