清朝建政後，開始錄用前朝耆老，老錢也去應召，以禮部侍郎兼管秘書院事，管理《明史》館，順治三年（1646年）稱病回家。不久因為江陰黃毓祺謀反案受到牽連，被逮捕入南京監獄，柳如是拖著懷孕的身子前去南北兩京四處奔走，將他救出。老錢從此隱居常熟絳雲樓讀書寫作。因此更加屬意於與柳夫人涵詠吟唱詩詞，檢校圖書著疏曆史。柳夫人隨侍左右，好讀書乃至放言高論。夾著自己的著述前來登門求教的人紛至遝來，幾乎沒有一天間斷過。老錢有時倦於見客，即派小柳出麵應酬。但見得英姿勃發的河東君：時而穿上貂冠錦靴像是一名女將，或者穿著羽衣霞披如同貴婦，清晰流暢的言說像是泉水流淌，雄辯銳利的談鋒如同高嶺崛起，在座的客人為她的絕色聰慧所傾倒。有客人需要回訪答拜的，河東君就乘著小轎，帶著婢女，代老錢訪問旅行而來的客人，與客人隨意酬唱，有時竟然盤桓一整天，老錢也並不吃醋，他常常對人說：“她即是我高貴的弟弟，又是我的好秘書。”常常戲稱她是“柳儒士”。
庚寅年（1650年）絳雲樓失火，燒毀了他們夫婦的大部分藏書。老錢和小柳移居紅豆山莊。山莊種有紅豆樹一株，因此而得名。中秋佳節到來，伴著良辰美景，老錢攜小柳劃著一艘小船，**槳在湖山風景絕佳之處。老錢有《中秋日攜內出遊》詩中記載了他們夫婦出遊的浪漫景況：
綠浪紅闌不帶愁，參差高柳蔽城樓。
鶯花無恙三春侶，蝦菜居然萬裏舟。
照水蜻蜓依鬢影，窺簾蛺蝶上釵頭。
相看可似嫦娥好，白月分明浸碧流。
小柳按照老錢原韻唱和道：
秋水春山澹慕愁，船窗笑語近紅樓。
多情落日依蘭棹，無籍浮雲傍彩舟。
月幌歌蘭尋塵尾，風床書亂覓搔頭。