崇禎朝的最後幾年，朝廷陷於對清軍和大順軍兩線作戰，前方戰情時時吃緊。大約是1638年冬天起，陸續有北方戰火的消息傳至越中，寓園主人的日記中開始時常出現“虜警”“虜信”“虜騎”“流賊”等讓人憂慮的字眼。鑒於動亂有向南方延伸的趨勢，在山水園林中悠遊度日的祁彪佳開始大量閱讀《保越錄》《靖康傳信錄》等與守城禦寇相關的書籍，並在與裏中長老討論時事時就地方防務發表一些重要意見。
1640年，祁彪佳五年休假期滿，是繼續留在園中，還是回到朝廷，成了他那段時間最為糾結的問題。親友們有支持他繼續退處歸隱的，有建議他複出為朝廷所用的，祁彪佳自己的意向則是在寓園長此棲遲，於是以“身病母老”為由，上疏續假。“既憂樂不與人殊，何江湖之不為廟廊？”他相信，憑著自己的內心操守和才幹，在地方上一樣可以做些有益民生的事。就在這一出處行藏拉鋸式的內心衝突中，他的身體素來硬朗的母親於這年春天突然去世，接下來一段守製的時間，他參與了地方上大量的救災和慈善事務。
袁江《別苑觀覽圖》
曾經同樣在出仕和隱居間苦苦掙紮過的好友、詩人陳子龍，已經預料到了終有一天，祁彪佳會離開這個他一手創製的園子。在應主人之邀寫下的一篇《寓山賦》中，他婉轉地說，像祁這樣的“世之君子”，在潛意識深處是不可能自外於人世，自外於時局的牽引的。他以《莊子》中的中山公子魏牟為例，說魏牟以公子身份隱居岩穴，卻常有“身在江海之上，心居乎魏闕之下，奈何”之歎，是因為對朝廷還有眷戀之意，雖未達至高境界，也已經有重生向道的心意了。魏牟有無奈之歎，處此亂世，祁彪佳又豈能無感？所以他以一個朋友的身份也對祁彪佳有著同樣的期許：