我當時立誌要改革我們的中國人，但是我並非要練陸軍、海軍同外國相周旋。我以為改造國民的方法，就是辦教育。
——張伯苓：《基督教與愛國》
張伯苓出生於天津一個窮塾師家庭。祖輩經商，曾是當地殷實富庶之家，但由於祖父英年早逝，父親又不事生產，很快家道中落，生計難以維係。到張伯苓幼時，家中已無錢延聘教師，他隻得到同族人的家塾中就讀，後來又進入一家義學塾館學習。貧寒的家境使張伯苓常常受到有錢人家子弟的譏笑和白眼，幼小的心靈便感受到世態的炎涼。但是張伯苓並沒有自暴自棄，反而產生了強烈的求知欲，下定決心勤奮學習。義學的教學粗疏淺近，僅夠開蒙，卻沒有機會進一步研習深奧的經傳。因此，上完義學之後，科舉仕途無門的張伯苓報考了在當時並非“正途”的北洋水師學堂，並以優異的成績被錄取。
北洋水師學堂是李鴻章為培養海軍人才而建立的學校。從沉悶的塾館進入新式的學堂，張伯苓像換了一個天地一般，立刻被深深吸引。幾何、英語、天文、代數等新式的課程，讓張伯苓學習了較為全麵的近代科學知識；散發時代氣息的西方文化令張伯苓大開眼界，開始了解世界大勢；學校培養技術型人才的教育目的和注重實用知識的學風，為他後來改革傳統教育提供了最初的啟發；帝國主義對天津的侵略，讓他對民族危亡有了最直接、最強烈的體會。張伯苓開始變得深沉起來，思索眼前發生的一切。他立誌投身海軍行列，親手駕駛戰艦，為祖國抵禦列強的侵略。
然而，現實總是無情而殘酷的，正當張伯苓準備到海軍畢業實習時，甲午中日戰爭爆發了，名噪一時的北洋海軍竟不堪一擊，幾乎全軍覆滅。與此同時，北京城內依然歌舞升平，忙於為慈禧太後操辦“萬壽慶典”，清政府的腐敗無能已是不爭的事實。張伯苓時刻關心戰爭的局勢，北洋海軍戰敗的消息令他百思不得其解。此後，他來到通濟艦實習，他看到在官兵中彌漫著萎靡腐化的空氣，軍心渙散、士氣低落，士兵都抱著吃糧當差的思想混日子。親眼目睹的現實重創著張伯苓的心靈，動搖了他對清朝海軍的信心。