一直到現在我還不知道怎麽教負負得正，我先這麽教，後來發現不成。換一個教法，又不成。本來改了一下以為可以，到後來又不對頭，學生就亂算一氣了，反正是教負負得正，一直是失敗的。
——張誌輝等：《大智為師——吳文俊先生訪談錄》
從交通大學畢業後，吳文俊首先到了當時的上海育英中學教書，擔任初中一、二年級的代數老師。但由於當時的吳文俊較為害羞，不擅長講課，所以他課時不夠，就同時兼任了教務員一職。因此，吳文俊不僅要像其他老師一樣不辭辛苦，非常認真地備課、上課，還得處理許多瑣碎的日常性事務，“每天一早跑去點名，看學生自習課是不是到了，一個教務員要坐在那裏，一天到晚直到下班”[1]。那時一周要上二十幾節課，收入十分微薄的生活讓吳文俊深切體會到了中學教師生活的清貧和艱辛，“我住的地方就是樓梯上頭的一小塊地方。在這一小塊空間裏，要看書是不可能的”[2]。
在日本軍國主義鐵蹄的踐踏下，最後的孤島也淪陷了，育英中學被迫解散，吳文俊失去了寶貴的教學機會。然而，他並沒有放棄教育救國的信念，半年之後，他又找到了新的教學工作，即在上海培真中學任教。這是一所小學加初中的學校，吳文俊還是教授初中一、二年級的代數，同時兼任教務員。這裏的教學環境相對穩定，吳文俊漸漸地改掉了上課害羞的毛病，開始探究講課的方式方法，單就一個“負負得正”的原理，吳文俊就思考了很多種方法來講解。
國家有難，匹夫有責，在中華民族生死存亡的關鍵時刻，吳文俊不可能“兩耳不聞窗外事”。此時的他，像其他老師一樣，一方麵借助三尺講壇向學生們講授愛國道理，一方麵親身參與到抗日的偉大鬥爭中。而且，在這裏，吳文俊有幸遇到了中共地下黨員葉克平，較早接受了共產黨人革命思想的影響。隻不過吳文俊是在新中國成立後才得知這一事實的。當時，為人忠厚坦誠的吳文俊，頗得校長葉克平的信任。葉校長在對他進行了長期認真考察之後，主動將埃德加·斯諾的《西行漫記》借給他看，在吳文俊的心裏打開了一個新的世界。之後，在葉克平的推動下，吳文俊還參加了地下黨員以各種名義舉辦的外圍社會活動。正是從這時候起，共產黨人全心全意為人民服務的革命思想在吳文俊的心裏紮下了根基。據中國工程院院士許國誌先生介紹，吳文俊在法國留學時，正值國內解放戰爭臨近尾聲，吳文俊就在法國的住所內掛了一張中國地圖，中國哪一個地方解放了，他就在上麵插一麵小紅旗。這件小事生動地顯示了一個中國數學家的愛國情懷。