1971年，因戰備原因，西南師範學院被強令遷往梁平縣、忠縣農村辦學。吳宓向西南師範學院學校黨委打了一個報告，說到：“老朽老了，能不能就在學校勞動？”學校未能批準，吳宓還是被遣送到了梁平縣的一家農場勞動改造。
勞動改造中最作踐吳宓他們的，是讓他們三頓飯前，都要拿著碗筷“請罪”，比如大罵自己不是好東西，是混賬王八蛋這類的。吳宓他們不想說，或者說得不利索，就要遭一頓毒打。幾個月後，原本眼睛就有問題的吳宓右眼忽然全盲，左眼患上了嚴重的白內障，即將失明。
1972年，79歲的吳宓被允許返回重慶養病。自1970年開始，他的工資被學校扣發，每月隻給30元的生活費。看病、療傷、請保姆這些費用加起來，30元遠遠不夠。錢不夠，不願低頭求人的吳宓隻好向往日的朋友借債度日，他在陝西老家的弟弟、妹妹以及好友王芳吉之子也經常寄點錢幫助他。
1973年9月，吳宓的妹妹吳須曼從陝西省涇陽縣到西南師範學院看望吳宓。吳須曼知道像哥哥這樣的大知識分子，在當時的境況不會有多好，隻是她沒想到那麽糟糕——衣服隻有兩三套，一件藍布麵的棉襖，上麵縫補有三十六處。被褥單薄，也不知道他冬天怎麽熬過來的。當時購物不僅要錢，還需要各式各樣的糧票、憑證，而吳宓手上布證、棉花票一樣也沒有，唯一的財產就是布滿書架、箱子和桌子的中外書籍。天氣熱了可以脫衣服，天氣涼了可怎麽辦？吳須曼回到涇陽縣後，即刻趕製了棉衣、棉褲、被子和毛衣寄給吳宓。
1975年夏天，吳須曼再次來到西南師範學院。這時的吳宓已經不適宜一個人生活了，他的腿摔傷過行走不便，一隻眼睛又失明。一些人欺負他年紀大了，來偷他珍藏的書。動亂中有人拿了他的書，知道他恢複工資後，又跑來找他，說，老吳，當年那些人抄走了你的書，我想你可能用得著，我請客送禮，好不容易幫你保留下兩本，你看你還需要不？我也不是來找你報銷我請客送禮的那些錢，錢不錢的無所謂，我隻是覺得這些書珍貴……老吳你還是這麽倔強，既然你非要給，那就給五十吧……你也真是，這點錢都要給……吳宓千恩萬謝把這人送走，才明白，重新買回這些書，自己的每月工資也花的差不多了。更可氣的是，有人前腳把書賣給吳宓，後腳又偷偷潛到他屋裏偷他的書，隔天再賣給他。學校補發他的工資，也這樣被人騙走了。