祁彪佳、劉宗周和陳子龍在天地反覆的關鍵時刻被排擠出南明小朝廷，先後被罷官返回了各自的家鄉。陳子龍回去自行組織義軍準備借助民間的力量抗擊清軍對於江南的入侵，後來去了福建追隨唐王朱聿鍵，被捕後投水自盡。
祁彪佳再次退回寓園，一邊關注著日益頹敗的政治局勢憂心如焚；一邊繼續完成自己的園林修建的夢想。他為自己在國難當頭時候沉湎於修建私家園林深感自責，然而同時又不能戒絕自己這種文人士大夫的癖好，在日記中不停地做著自我批評。祁彪佳是一個辦事和生活習慣都相對嚴謹的人，平時有記日記的習慣，與人書信往來也有詳盡記錄，因而為後人研究明末的社會、政治和地方風情習俗留下豐富的第一手資料。
營造私家園林在中國曆史上都是和貴族豪富鬥富的故事相聯係，撇開財富的因素，當然也和士大夫階層追求山水自然而自適的精神追求是分不開的。當然，這些奢靡的或者恬淡的表現形式都和經濟以及精神價值追求密切相關。既是財富和權勢的象征，也是精神和思想寄托的人化自然審美情趣之所在，大約是和兩漢時期興起的道家追求山水自適與佛家思想傳入中國有關，以後儒道釋相融合成為中國的主流意識形態一直主宰著中國士大夫的思想。有時又往往是政治理想暫時隱藏在山水園林中，等待東山再起的某種韜晦之計權謀手段。
顯然祁彪佳的造園僅僅是某種個人對於老莊甚至佛教禪宗修煉的需要，是陶冶性情避世情節在自家庭院的精神寄托。隻有在天地反覆後，他那塊陶冶心性寄托情趣的世外樂土才不複存在。士大夫經過儒家學說洗腦過濾的思維才以無比潔淨心態在佛家生死輪回的宿命中毅然走向了死亡，追求著精神的涅槃，成為儒家忠烈人格的象征。其實這也隻不過是為沒落的大明專製王朝殉葬而已。