遠在1887年的時候，張謇還在跟著孫文錦當幕僚，孫文錦在開封當知府，張謇也和他在一起。他們來到開封沒多長時間，黃河便於鄭州決口了，情況很是緊急。孫文錦也不敢怠慢，急命張謇和他的兒子孫東甫一起坐船，不顧生命安危對災情進行調查，給予急賑。張謇和他的兒子孫東甫走遍了決口的上遊和下遊，仔細對水勢進行查看。其慘景令人目不忍睹，房屋衝塌，人畜喪命，漂浮於水麵的人畜屍體令人觸目驚心。從那時候起，張謇便意識到水真是太厲害了，使他暗自下決心要為治理水患而出力，努力掌握一些這方麵的知識。
張謇通過仔細認真地考察，認為最好是疏浚黃河，分成若幹道，從山東入海。當時北洋大臣李鴻章所聘請的水利專家們經過研究，也是如此認為的。但是，欽差督辦河工的大臣李鴻藻卻不同意這樣的意見，他振振有詞說：“我隻是負責把黃河決堤的部分堵住，堵住這些決堤的部分最多也就花費幾百萬元。如果要疏浚幾條河道，分別入海，需要多少錢，難以預算；以後效果怎樣，更是無法得知。”
那些在河防上混跡多年的官員都是老油條了，為了費用，為了官運，和李鴻藻持相同的觀點。
於是，張謇和那些水利專家們的意見隻好放回到自己的肚子裏去。張謇感覺很無奈，有力使不上，隻好辭職回自己的家鄉。
在回家的路上，看到徐州、淮陽、淮安的黃河水泛濫，任意而流，災情甚是嚴重，人們苦不堪言，便在淮安多住了數日，以便較為細致地了解。這期間，他也徹底摸清了淮河的變遷曆史。原來，黃河和淮河本來分別出海，黃河出海口在山東的渤海灣，淮河的出海口在江蘇海州附近的雲梯關。黃河於趙宋時候下遊慢慢有向南移動的趨勢。在元朝末年，曾發生過黃河奪淮的事件，泗州城全被淹沒了，大水彌漫。1856年，也就是鹹豐六年，黃河自銅瓦廂決口，黃河也由此改道向北遷移，退出淮河，重新回至山東出海。原來的淮河，依舊單獨出海。由於曆史上曾發生過兩河匯成一流的現象，所以便有人把淮河說成是舊黃河，又將原來的入海口叫做舊黃河口。雖然黃河的水退出了淮河水道，然而給淮河留下非常嚴重的後患。第一是在奪淮以後，清水變得非常的渾濁。退出以後，沉積下來很多的泥沙。第二是在合流的時候，水力特別的強，出海相當的容易，待黃河水退出之後，淮河的水速大大降低，難以衝動海口之淤泥，致使海口被堵，出水不暢，總是不定期地造成內澇。又由於在黃河改道以後，治理黃河的官員也隨之向北遷移，原駐節清江的漕運總督本就兼管淮河的有關壩閘的開關和修理。1884年之後，盛宣懷開辦的輪船招商局成立，一切糧米皆從河運變成海運，沒過多長時間，漕督便被裁撤，如此一來，再沒有人過問淮河之事了，使淮河兩岸的百姓也隨之陷入更深的苦難。