自從乾隆五十七年（1792）調左都禦史後，紀曉嵐因為公務常常要住在西苑，所以向他的女婿家借了一套房子，名之為“槐西老屋”。工作結束後，紀曉嵐就到老屋裏吃飯、休息。西苑那地方當時距城數十裏，槐西老屋又十分僻靜，開頭一段時間除了部屬來向他請示公務，造訪的客人絕少，夏天晝長夜短，有大塊的富裕時間，紀曉嵐在老屋放了一個記事冊子，每當輪到值班時，就回憶大家談過的事，並草草記錄下來。若不值班，就暫時擱筆。一些事回憶不起來，也就作罷。不知不覺，寫成四卷，他的孫子紀樹馨將其輯錄為一帙，題名為《槐西雜誌》。
在撰成《灤陽消夏錄》《如是我聞》《槐西雜誌》之後，紀曉嵐不能自閑，乾隆五十八年（1793），《姑妄聽之》四卷又告殺青。這部書的名字取《莊子·齊物論》中“姑妄言之，姑妄聽之”的說法。嘉慶三年（1798），紀曉嵐扈從新皇帝到灤陽，在閑暇之餘，把五年來隨時寫成的片斷連綴成書，成《灤陽續錄》六卷。
這幾部筆記，每完成一部，都迅速被傳抄，來閱微草堂訪他的人越來越多，有文友同僚、同年故舊，也有陌生人，老家河間的一些親戚、朋友來得更多。鄉親來了，不帶別的東西，帶的全是家鄉的土產，最多的是小棗。他們知道紀曉嵐一生不食穀，以肉為食，案頭卻總離不開小棗的。
鄉親們來了，紀曉嵐總是很高興，聊興也最高。紀曉嵐問得最多的是家鄉的故人和舊事。雖然離家幾十年，七十歲之後，他感覺到故鄉的輪廓一天比一天清晰起來。
同朝為官的老朋友也時常來槐西老屋，偶爾大家也搞個“文酒之會”，這天，朝鮮使臣鄭尚愚也和大家一起來了。
因為來的都是至交故舊，說話自然放鬆得多。鄭尚愚是個對中國國情十分了解的外國人，更無忌諱，他直言不諱地談到官場的亂象和吏治的腐敗。他說，這些年中國之所以災荒連年，除了天災的原因，更主要的是人禍，一切災難的原因隻有一個，那就是普遍而有係統的貪汙。這種貪汙是產生饑荒、水災、疫病的主要原因。河工經費常被侵挪，以致水利不修、河務弛廢；加之各級官吏對河工經費的層層盤剝和營私舞弊，不僅嚴重削弱了防災、抗災能力，而且往往造成人為災害。