柳如是與錢謙益的女兒錢孫蕊，嫁給了無錫城裏的編修趙玉森的兒子，柳如是十分鍾愛自己的女兒，舍不得女兒遠去夫家，故將女婿招贅到了常熟，與自己同居於紅豆山莊。直到柳如是去世後，錢孫蕊才到了無錫夫家，趙編修的姻親見到小孫蕊，發現其容貌瘦小意態幽靜嫻雅，豐神秀骨、風姿綽約，看上去和她去世的母親十分相像，對比當時名畫家吳焯畫的《河東君夫人像》（現藏美國哈佛大學福格藝術館）幾乎呼之欲活。但見畫上柳夫人安靜地坐在繡榻上，一手倚在幾榻上，一手執扇子，仿佛一枚精致的象牙書簽在畫軸上縹緲，浮積飄落在幾榻之上。看當年河東君在畫麵上端自題的跋語，知道在寫生這幅畫像時，恰逢牧齋老先生正在選撰列朝詩，其中閨秀一集係柳如是為之勘定，所以即景為圖，而成傳世丹青。
錢謙益的大兒子錢孫愛，性格偏於軟弱且有些迂腐。孫愛家住在常熟東城，與海防公署相鄰，一次公署失火，防尊指揮使倉促而出，暫時借用錢家客廳休息。孫愛出來迎接，開始倒也沒有什麽失禮之處，待及坐定之後，孫愛問及：“老父台何科舉人？第幾甲進士？”防尊係滿洲人，並非科舉出身，很尷尬地吞吞吐吐不知如何應答。手下的一位小吏悄悄對孫愛說：“本署防尊是某旗下某堡人。”孫愛聽後無話可說，未及奉茶即拂衣進內不再出來。搞得這位海防大員滿臉通紅，十分狼狽，窘迫而去。錢孫愛的不明事理也被當成笑話而在常熟城內哄傳開來。
康熙初年，錢孫愛已經考取了舉人，將老父親錢謙益迎去共同居住。柳如是依然和女兒、女婿居住在紅豆山在。康熙三年的夏天，老錢患病臥床，柳如是從鄉下趕過去探視，這年柳如是四十七歲。五月二十四日，八十三歲的錢謙益離世。老錢在離世前，喪葬費尚未落實，恰好鹽台顧某來求文三篇，答應給白銀一千兩潤筆，而此時老錢已經無力為文，隻好求來訪探病的黃宗羲代筆。黃宗羲不願意，無奈之下被老錢反鎖在書房內，逼迫黃宗羲連夜寫完了三篇文章，才解決了喪葬費的問題。黃宗羲在《黃梨洲詩集》卷二《八哀詩》之五《錢宗伯牧齋》自注中記載了這件事，他在哀悼牧翁的詩中不無沉痛地寫道：