農業生產的發展離不開水利，雖然在宋代廣大農民仍然是靠天吃飯，但是，卓有成效地興修水利可以減少自然災害對農業生產的危害，提高糧食產量，改善人民生活，從而反過來又可促進生產的進一步發展。
黃河的水患是危害農業生產和人民生命財產安全的主要因素，所以宋太祖把治理黃河作為一項重要任務來抓。乾德元年(963),派神武統軍陳承昭，征發京城附近地區丁夫數萬人，修築河堤。乾德四年
(966)夏秋之際，黃河多處決口，泛濫成災。派殿前都指揮使韓重贇等督率士卒丁夫數萬人，曆時二個多月，塞治滑州決口，並修複被毀壞的靈河大堤，使黃河水回歸故道。第二年春天，鑒於上一年黃河多處決堤的教訓，太祖派遣使臣分別帶領畿縣及附近州郡的丁夫數萬人整治河堤，並規定開封府、大名府以及黃河沿岸的十五個州的長官兼任本州府河堤使，負責修治黃河。此後，加固黃河提防形成製度，每年正月開始加固，春末而畢。
宋太祖對水患非常重視，也要求地方官對水患予以高度重視，及時發現水患，報告水患，清除水患，否則將受到嚴懲。開寶四年(971),澶州黃河決口，東流泛濫至鄆、濮等州境內，淹沒農民田無數。地方官卻裝聾作啞，不及時上報，更未積極組織搶修。宋太祖非常憤怒，派人調查。結果屬實，通判姚恕處以棄市，知州杜審肇被罷職。
這件事發生後，宋太祖更加重視對水患的防範，他說：“朕每念河渠潰決，頗為民患，故署便職以總領焉，宜委官聯佐治其事。”於是，特在沿黃河兩岸十七州府設置河堤判官一名，以本州府通判擔任。沒有通判的地方，以本州府判官擔任。開寶五年(972)夏，黃河又多處決口，太祖派潁州團練使曹翰征發士兵及丁夫五萬人進行修治，不久，堵塞了所有決口。黃河頻繁泛濫，令宋太祖深深為這憂慮。他廣泛征求治河意見，曾經親自召見《禹元經》作者田告，詢問治水之道。隱居未仕的王德方呈上修治黃河水害的文字，宋太祖賜予他同學究出身。