胡雪岩發跡以後，在元寶街擇地十畝，大興土木，營造豪宅。他特地從北京請來了著名建築匠師尹芝進行精心設計。尹芝為了體現杭州山水的特點，專門去了杭州有名的風景勝地靈隱住了幾天，仔細揣摸靈隱山水風光的奧秘，他以飛來峰為借鑒，設計出了一幅園林建築藍圖，胡雪岩看了十分滿意，動工時還請來了魏實甫等4位本地疊山匠師，共同參與施工。園內有名貴的鬆皮石筍81支。同治十一年修建完工，為紀念其父芝田，取名“芝園”。園內有“魏紫”、“姚黃”等名貴牡丹和白皮鬆等，把園林裝點得富麗堂皇，既有宮廷的氣派，又有西洋的風姿。園內除了五開間正廳外，還有楠木廳、鴛鴦廳、四麵廳等建築，四麵廳的東西南北可見園內的百竿竹、百章梅、百株桃、百本李，另有曲廊、小橋、，荷花池、牡丹台等。
人工堆疊的大岩洞就有四處，分別取名滴翠、顰黛、皺青、懸碧。其中有一大岩洞高達4米、寬10米、深10米。洞上麵結頂的山石奇形怪狀、形象百出，有的像獅虎、有的像人物、有的像鳳凰、有的像鬼怪。園內池塘用點銅澆鑄，終年不枯，一泓清水映著奇形怪狀的假山，猶如人間仙境。池邊飼養孔雀、白鶴等珍禽點綴園林景色。假山上下兩邊都有手扶欄杆，用鐵杆子做中心，外用五色彩瓷做成竹節筒式扶手，隻要不打碎，一百年也不腐爛。園內假山有17米高，山上有一座亭角，亭外有一座牌樓，牌樓下麵有一段遊廊，中間匾額題“水木湛華”四字，據說為左宗棠手書，它道出了“芝園”的絕妙佳境。
胡雪岩在“芝園”內建造了十六所院子，取名為安吉院、冷香院、影憐院、紅芸院、古香院、春暉院等，分別安置妻妾和女兒。為了隨時可以叫喚某妻妾，胡雪岩還效法西洋，在妻妾房內都安裝了“德律風”（即電話）。