餘懷與孫臨（字克鹹）交情最深。孫臨乃兵部侍郎孫晉之弟，明末武官，安徽桐城人，詩人，方以智的妹夫。其嶽父方孔炤是明末大名鼎鼎的易學大師，又是一位出身於儒學官宦世家善於領兵打仗的封疆大吏。方家先祖為靖難之役中被明成祖誅滅十族的方孝孺家族後裔，朱棣即位後，下詔要求諸藩名人署名上表效忠，方孔炤先祖方法拒絕簽名，被逮捕，途中投水自盡。方法的這種忠節風範對族人人格理想產生深遠影響。
方孔炤（1591—1655年），字潛夫，號仁植，萬曆四十四年（1616年）進士，仕途較為坎坷，天啟初年升任兵部職方員外郎，因為得罪魏忠賢被罷官削籍。崇禎元年複原官，不久被任命右儉都禦史兼領巡撫湖廣，在湖北與張獻忠對陣，取得八戰八捷的大勝。由於督師楊嗣昌受張獻忠假投降**，拒不聽從方孔炤的意見，放鬆防守，香油坪一戰被楊嗣昌強令出擊，中了張獻忠軍埋伏，全軍覆滅，被逮埔下獄。其子方以智泣血上書，感動崇禎皇帝，被免死罪，獲釋後，準複冠帶，嗣後以都察院右儉都禦史降級戴罪總理河北山東屯務、軍務。剛赴任即發生“甲申之變”而“踉蹌歸南”，遂閉關鹿湖終老。
方家崇文尚武，門風清正，教育管束子女甚嚴，就是女流也個個行為端方，多才多藝，在明末亂世中誕生了多位節婦烈女，受到朝廷表彰。但是，對於兒子方以智和女婿孫臨在流寓南京時流連花街柳巷狎妓嫖娼行為荒唐，幾近放手縱容。也許世風如此，他們的**正是文人墨客風雅生活的體現，因而根本無需譴責。這兩位小爺均是17歲結婚，18歲即離開桐城去了留都南京讀書學習，尋覓功名去了。郎舅兩人結伴同行，在科考路上踟躇不前壯誌難酬時，卻在秦樓楚館春風得意，贏得許多名姝的青睞。誠如他們的老朋友陳貞慧的兒子陳維崧在《在湖海樓文集》卷二中的記載：