吳貽芳出生時，上麵已有哥吳貽榘和姐吳貽芬。父親吳守訓，給她取名“貽芳”，合“貽芬芳”之意。因生在冬天，故別號“冬生”。在她之後，家中又添了個小妹貽荃。
她父親祖上，原是江蘇泰興的書香門第，後遷居杭州。吳守訓的祖父是翰林，父親是舉人。吳父到武昌做官以後，全家遷往武昌居住。
母親朱詩閣，是一位祖籍杭州的大家閨秀，粗通文墨，知書達理。她勤儉持家，相夫教子，把一個家治理得井井有條。
吳守訓是吳舉人的獨子，苦讀多年才考取了秀才，但考舉人卻屢試不第。為了養活妻兒老小，無奈之下做了一名私塾先生，靠微薄的收入勉強糊口，生活十分拮據。
經祖父吳舉人生前故交的多方斡旋，吳守訓被任命為縣牙厘局局長。牙厘局是水陸交通要道征收稅款厘金的機構，作為湖北重要稅收機構之一，牙厘局局長也被看做是一肥缺。
可吳守訓既不會利用職務之便受賄、索賄、放高利貸，也不善結交權貴、巴結上司。做事向來遵紀守法，克己奉公，是個公認的實在人。他的收入就是工資，一家老小日子雖不富裕，但算得上安逸。
1904年，吳守訓被調到湖北當陽縣任知縣。因當陽窮困，他決定自己一人赴任，全家仍留在武昌。一家人過著平凡而溫馨的生活。
當時的中國，正發生著翻天覆地的變化，清王朝已是窮途末路。西方思想大量傳人中國，女學思想也廣為傳播。自幼生長於閨門之內的吳家姐妹，也受到影響，兩人常常私下裏嘀咕：為啥貽榘可以在外上學，為啥她們就隻能待在閨閣跟父親識字念書？為啥男人能當家立業，女人隻能一輩子圍著鍋台轉？
每當看到奶奶那雙小腳，姐妹倆就不禁感歎：難道自己也要走奶奶的老路？
一天，母親朱詩閣的娘家親戚從杭州來到吳家探親。閑聊中說起杭州開辦了一所女子學堂，名叫弘道女子學堂，專門招收女生。這所學校按西方模式教學，教師也受新思想影響，鼓勵女生走向社會。