語罕家在明末清初是一個大地主家庭。據高氏家譜所載，明末大饑，語罕的祖先曾經捐納過三千擔糧食放賑，明廷禦賜“尚義門”的匾額予以褒獎。語罕家引以為榮，常以此自誇。小時候，語罕看見自家祠堂的對聯仍是：先人助麥三千擔，聖祖恩頒尚義門。
到了曾祖的時代，語罕家中仍是鼎盛之秋，一麵擁有上千畝的田地，一麵又是大鹽商、大行商。直至語罕五六歲時，家中仍氣派得很：“大門是很高的石台坡、石門檻，前後一起有百十間瓦屋，中有五間大廳，可以坐四五十桌席。不料正陽一場大火，把它們燒的幹淨，隻有三間瓦屋，碩果僅存。”【注釋1】
鹹豐、同治之交，壽縣、鳳陽農民革命的領袖苗沛霖征集民工，將還是土圍子的正陽關建成城池。外曾祖太爺就在苗沛霖那裏做“大旗杆子”，這是苗手下最高將領的職名。據說，祖母嫁到正陽關的時候，全鎮百姓沒有一家不送禮的。
祖母常常帶著語罕到外曾祖太爺家去看“堂戲”，也給他講家世，講故事。小語罕最喜歡聽祖母講長毛、撚子的故事，更愛聽她講苗沛霖起兵圍壽州城及治軍臨民的逸事。祖母親見親聞，所以講得有趣。冬天的時候，祖母常躺在一張靠椅上，兩手縮在袖子裏，兩腳放在一個銅腳爐上，白發垂垂，閉著眼睛講故事，這是語罕小時候印象非常深的一件事情。
祖母也常常向語罕回憶高家昔日的繁華，“二十年前，我們鹽店巷子高家，誰人不知，誰人不曉！家裏那時又是鹽店，又是錢莊，又是油坊，又是炒貨行，糧食收的成倉的。”緊接著她又慨歎，“我們這一門子，現在窮了，再沒有從前那種興旺氣象嘍”【注釋2】。按祖母的話說，“龍多四靠”，事情沒人管。因為語罕的祖父弟兄八個，大都習於安逸，不理家務，不治生產，家道漸漸中落了。