1935年，華北事變後，天津的形勢日趨緊張。7月12日，日軍向天津進攻。30日淩晨一點，日軍開始向南開大學開炮。中央通訊社當時從天津報道：“30日下午2時日炮隊亦自海光寺向南大射擊，其中四彈，落該院圖書館後，刻已起火。”“兩日來日機在天津投彈，慘炸各處，而全城視線，猶注意於八裏台南開大學煙火。緣日方因二十九日之轟炸，僅及兩三處大樓，為全部毀滅計，乃於三十日下午三十許，日方派騎兵百餘名；汽車數輛，滿載煤油到處放火，秀山堂、思源堂，圖書館、教授宿舍及臨近民房，盡在煙火之中，煙頭十餘處，紅黑相接，黑白相間，煙雲蔽天，翹首觀望者，皆嗟歎不已。”30日以後，日軍占領學校。
從此，南開大學校園遭受了日軍侵略者8年的**。南開大學是抗戰以來中國第一個罹難的高等學府。初步統計財產損失300萬元(法幣)，占當時全國高等學校全部戰爭損失的十分之一。
30日下午，張伯苓向《中央日報》記者發表談話：“敵人此次轟炸南開，被毀者為南開的物質，而南開的精神，將因此挫折，而愈益奮勵。”31日，蔣介石約見張伯苓等人，他即席表示：“南開已被日軍燒掉了。我幾十年的努力都完了。但是隻要國家有辦法，能打下去，我頭一個舉手讚成。隻要國家有辦法，南開算什麽？打完了仗，再建一個南開。”蔣介石以明晰誠懇的話語安慰說：“南開為中國而犧牲，有中國即有南開！”
這之後，他深為憂慮，親赴重慶考察後，決心在荒涼的重慶沙坪壩，建成一所重慶的南開中學。1936年夏，校舍落成，定名“南渝中學”，當年九月正式開學。
人們讚歎他創造奇跡，是位魔術師，他卻笑嗬嗬地回應說：“我不是魔術師，我是不倒翁。日本人把我打倒，我又站了起來！”