1903年，張謇東遊日本考察參觀東京帝國博物館的時候，心中就湧出了一個嶄新的念想：回國之後自辦一個為教學和農業研究服務的博物苑。
回國之後，張謇忙得不可開交。為了創辦師範學校，他是馬不停蹄，根本無暇顧及博物苑的事。直到師範學校建成之後，一時鬆懈下來的張謇才想到博物苑的事，於是開始勘察地皮。在師範學校的西邊“徒荒家千，並居民三十許”，開辟了一個植物園，給師範的學生當實驗園地之用。
之後，教學範圍不斷增大，為了讓學生更加貼近地接觸實際，又親眼看與動手實驗的地方，1905年，張謇把這塊將近四十畝的植物園升級成了博物苑。這個博物苑在關係上依舊屬於師範學校管轄，將曾經留學日本的孫鎖聘請來當主任，開始動工建設房屋。
先建的是三間平房，作為中館，上辟十四平方米的平台，將觀測儀安放其上。中館是測候所，自宣統元年起，每天進行天氣預報，它的南館便是博物館。博物館內陳放的文物分為天產、曆史、美術和教育四個部分。北館是化石館，建得稍微晚一些。別的還有假山、水池、花房、草坪和齋亭等等。
到了民國的時候，南通師範學校劃歸省管，博物苑便自己獨立了起來，不再歸師範學校管。博物苑裏邊擁有好幾名金石、考古、礦物和書法繪畫等方麵的專家，這些人個個忠於職守，勤奮工作，有著非常強的事業心，對各種物品進行廣泛地征集和鑒別。到了1933年，博物苑內的苑品已經達到了3605號。最為興盛的時候，動物園內有珍禽老虎，植物園內有瓊花丹桂，陳列品中有能動的輪船、火車等許多機械模型，讓人流連忘返，不忍離去。真正成了普及科學知識與陶冶情操的教育場所。
對於圖書館，在1905年，張謇便曾給張之洞寫信說：