張伯苓的祖先原是山東人，清初舉家遷天津河東。駕楠木船販糧油雜貨起家，家業漸臻小康。
到他的祖父張虔手上，開始棄商習儒，然而卻屢試不中，瘋癲早逝，年僅38歲。
他的父親張雲藻，因是獨子，所以繼承家業後家財豐裕，隻是醉心騎射、酷愛音樂，吹拉彈打諸多樂器無不精通。尤善琵琶，津人稱“琵琶張”。
張父因喜音樂，又不計金錢，家道漸衰。為了生計，張父設帳收徒，卻少人來習，無奈隻好出訪家館。家財**盡，未能立業，張父暗自愧悔，決心讓子女受良好教育，學一技以立世，重振家業。
到張伯苓6歲，家境不濟，請不起私塾，又借讀家館，後家館告停，張父遂托人，讓他進義塾學習。當時義塾，專收窮家子弟，塾中每天給每個兒童一二兩麵食，發少量筆墨紙張。
他一進義塾就遭到了許多富家子弟的白眼和譏諷，但他不為所動，且抗辯爭鬥，富家子弟膽怯，皆服他豪俠。隨著學習長進，他十分反感八股文。
1891年，他16歲，考入北洋水師學堂航海駕駛班，開始學習“新學”。他進入北洋水師學堂，如魚得水。勤奮用功，猛習近代科學知識，節假日也抓緊學習，每次考試都名列前茅，成為了航海駕駛班的優秀學生。按章程規定，駕駛班學生在堂學4年，上船學船藝1年，回堂學3個月，再上船，學3個月。考試合格，派上艦船服役。
1894年，包括他在內的18個同學，被派往北洋水師艦隊實習。當時，正值中日甲午海戰。他隨北洋水師艦隊參戰。9月17日，日海軍襲擊北洋水師，雙方互有損傷，他又隨艦隊退守威海衛。次年1月，日海陸夾擊威海衛，戰鬥中，他隨北洋水師艦隊迎戰，第一艘兵船剛出海，就被日艦擊沉。他隻好含恨飲淚，與眾人返師歸裏。