吳貽芳是從閱讀《榴實山莊文集》來認識曾祖父和故鄉的。當然，還有祖母的零星回憶。
吳貽芳的曾祖父吳存義，字和甫，號荔裳。生於清嘉慶七年(1802)，故於同治七年(1868)，江蘇泰興人，祖籍安徽休寧。道光十八年進士，選翰林院進修，授庶吉士和編修，曆官道光、鹹豐、同治三朝，先後任侍講、順天府丞、吏部左侍郎、幾度任雲南、浙江學政。他一生學有經術，善詩文音韻，清正廉儉，頗有政聲。而他所處的時代正是清帝國內憂外患，走向衰敗的時期，可以說他是林則徐、曾國藩、張之洞、李鴻章同時代人，由於他一生從事教育，不曾涉足軍事，因而被他們遮蔽得暗淡無光。雖如此，他在人生道路上，也創造了自己的輝煌。雖然曲折迂回，顛沛流離，但京城之外，兩次督學雲南，一次督學浙江，基本也算是風光地走完了他的一生。最有意義的是，除執掌學政以外，他還熱衷詩文和著述，這也讓他成為了江河行地的一道士林風景。
這諸多經曆和詩文，也成為吳貽芳認識曾祖父的橋梁和媒介。
吳家始遷江蘇靖江，始於吳存義的曾祖父吳文運和祖父吳世昌，而吳存義的父親吳士珪當年也隻有十四歲，還是一個不諳世事的少年。有材料說他家先世是休寧望族，也有說是書香之家，遷居江蘇的原因是避白蓮教起義。
白蓮教是波斯摩尼教和中國道、佛教的混合體，雜拜各種鬼神，起於唐宋，元明多次起義，到清初又發展成為反清秘密組織。順治三年(1646)，清政府曾下令取締白蓮教。乾隆四十年(1775)、五十八年(1793)，兩次把一教之首發配新疆。嘉慶登基的當年(1796)正月，湖北的聶傑人、四川的孫士鳳、陝西的張士龍等白蓮教人發動了大起義。尤其是齊王氏等人領導的“南(陽)、襄(陽)隘道”的白蓮教聲勢更為浩大，攻城略地，殺富濟貧，迅速占領鄂、川、陝部分地區，並有向東漫延的趨勢，清廷在九江設防，嚴防起義軍東進。