建造寓園的計劃得到了父兄的支持。開始他以為這是個簡單易行的小工程，要營建的“不過山巔數椽耳”，不會耗費太多的精力。及至真要動手了，方知大是不易。好友張岱祖上多有名園，城中砎園、天鏡園多是他家物業，他告訴祁彪佳說，這造園事，哪怕一亭一閣，都務必恰到好處，否則就有煞風景，就以他高祖張天複築的筠芝亭而言，後來所建造的樓、閣、齋，多不如它，原因就在於，多一樓，亭中多一樓之礙，多一牆，亭中多一牆之礙。這啟發了他，就好比於宣紙上作畫，畫家總要搜盡奇峰打草稿，並留足空白，於山水之間造園又何嚐不是如此呢？
接下來一段時間，他置族中事務於不顧，開始頻繁外出。有時一個人出門，有時和妻子共行。夏日的某一天，他們跑到杭州，雇了一隻湖船，從斷橋開始遊到西泠、孤山一帶，看了江氏、楊氏、翁氏好幾家園子，直到月亮在天角顯現才回到客棧。幾天後，他們又去看了南屏山下幾家園子，歸途中，過於疲憊的祁彪佳睡著了，“柔風薄日中，夢魂栩栩，為欸乃聲所觸醒”，醒來後，他們從雷峰塔到定香橋一路閑步於堤上，直到突然下起一場大雨，他們才從湖心亭坐船回去。
外人看他流連山水園林，日子過得輕鬆愜意，實際上他都快被園子的事折磨瘋了，連做夢都與造園有關——“每至形諸夢寐”。看他那段時間的日記，所到之處至少有鑒湖、新橋、項裏、蕺山、樵風涇、翠峰寺、禹陵、天鏡園、快園等，沿途看到別處好的景致，就想有朝一日移到自己的寓園裏來：
登舟泛鑒湖，時雨後忽霽，諸山倍有蒼翠之色。
午抵莊前，坐臥一小橋上，流水回繞，修竹映帶，幽雅有濠濮之趣。
偕內子理棹遊劉氏園，泊舟於南門，延張景嶽診脈，便道遊小隱山，至錢麟武莊，以主人正宴客，遂返棹三山之畫橋，停舟少頃即歸。