早在1937年8月，吳玉章就受黨中央委托，負責過陝北公學的籌建；此外，他還擔任了延安大學、魯迅藝術學院的校長。
1949年，新中國成立後，黨中央決定在華北大學的基礎上組建中國人民大學。1950年2月，中央人民政府任命吳玉章為第一任校長。
開學典禮上，他動情地說：“要培養新民主主義的革命和建設的幹部，為完成中國新民主主義而奮鬥。”並為人大製定了“忠誠、團結、樸實、虛心”的八字校訓。
當時人大成立初，辦學條件簡陋，常露天上課。從這時起，吳玉章就始終將教育事業放在自己人生首位。他不顧年老體弱，深入調查，克服了種種困難，用了不到一年的時間，就把人大辦得有聲有色，培養出了一大批優秀的新中國建設幹部。
他一生都以“做點有益於人、有益於國家的事情”來鞭策自己。晚年，他依然潛心治學，為中國高等教育和大眾教育的發展做出了不可磨滅的貢獻。
謝覺哉曾經這樣高度評價他：“況有三千諸弟子，東西南北立功勳”。
他領導了中國人民大學的創建和發展，擔任校長達17年之久，直到1966年12月12日去世。他為中國人民大學確立了正確的辦學指導思想和辦學方針，奠定了優良的傳統和獨特的校風，使這所大學成為新中國高等教育，特別是人文社會科學的一麵旗幟。
人大建校之初，大批蘇聯專家來校任教，他特別強調了聯係中國實際學習蘇聯經驗：“蘇聯教授都是很有學問的，但他們不甚了解中國的情況，我們要把他們講授的內容很好地和中國實際結合起來，否則是不可能做好教學工作的。”
他清晰地認識到，教育不僅要傳授知識，更要培養學生的實踐能力。他說：“學生一經畢業，即服務社會，故在修學期中，宜多予各生以研究之機會。”他要求學生刻苦學習業務，牢固地掌握知識，“希望我們課堂裏沒有一個害怕艱苦的人的座位”，“更不要有一個人虛度時光而成為使自己和學校都不光彩的廢品”。