一九六六年，隨著《人民日報》的《橫掃一切牛鬼蛇神》文章的發表，北大聶元梓的“大字報”和“紅衛兵運動”的**，迅速蔓延至全國各地，一場浩劫開始了。
在“文革”剛剛開始的時候，江蘇省委、省政府還沒有受到太大的衝擊。考慮到吳貽芳的年齡和民主人士的身份，省委、省政府領導頂著壓力，對吳貽芳給予力所能及的保護。但隨著運動的不斷深入，就連這些省裏的領導也泥菩薩過河，自身難保，對民主人士也失去了保護能力。
六月十六日，《人民日報》登載了南京大學揪出了“黑幫”匡亞明的消息，造反派的矛頭很快指向了吳貽芳、劉國鈞兩位副省長，大字報、大標語貼在了省政府的牆上。吳貽芳的名字還被紅顏色打上了叉。
然而，吳貽芳不理會這些，每天仍然到辦公室上班，批閱文件，處理公務。和許多人一樣，對於社會上發生的一些反常事件，她也懷有一種困惑和焦慮，甚至不可理喻。她常常心裏嘀咕：“怎麽一下子變成這個樣子，這麽亂如何是好，到底是怎麽回事？”全黨這幾年堅決貫徹執行“調整、鞏固、充實、提高”的方針，剛剛顯出成效，三年困難時期也已經過去，一個明媚的春天正在到來，中國的建設和發展就在眼前，國家怎麽又出現了“文革”，在她的心裏實在難以接受。
沒過多久，吳貽芳配備的專車被封存起來，不讓坐了，跟隨她多年的司機也被調走。當時，她給自己製定一條規定，不管如何，一定要去機關辦公，盡管那裏已無公可辦。
此時，吳貽芳已七十三歲高齡，行動起來有些困難，跟隨她多年的保姆晉桂芳想了許多辦法，給她雇了一輛三輪車，早晚接送她到機關上班。時間一久，吳貽芳這筆開支便發生了困難。因為吳貽芳雖然拿著一級教授的工資，但除了她與保姆二人的生活費用外，她還要拿出一部分去資助親友；特別是原金女大的校友，隻要來信求助，她便慷慨解囊。有一段時期，她竟然同時幫助五個人。另一位在蘇州的金女大校友生活困難，她聽說後便讓保姆每月寄去三十元錢，連續達半年之久。她的經濟怎麽能不發生困難呢？