宋太祖為鞏固政權，不但改革軍製，集中兵權，而且對中央和地方的行政權力進行了相應地調整和重新組合。
趙普向宋太祖所獻計策中提到五代政局動**不安主要是地方藩鎮權力大重。那麽要想扭轉動**局麵消除政局動**不安的根源，實現國家的長治久安，就必須削奪地方的行政權。為此，宋太祖采取措施，對地方政權進行了較大幅度的整頓。
首先是剝奪節度使的權力。唐末五代節度使掌握一方的軍政大權，通稱藩鎮、方鎮，也稱節鎮。他們擁兵自重盤踞一方，統轄數州郡，勢力囂張，難以駕馭，的確是唐末五代幾百年分裂割據局麵的罪魁禍首。為了剝奪節度使的大權，消除隱患，宋太祖想了好多辦法。
其一，取消節度使統領的“支郡”。節度使一般統轄數州郡，其駐所以外的州郡，叫作支郡。如山南東道節度使轄襄州、均州、房州、複州四州，襄州為節度使駐所，其餘三州則為支郡。這些支郡均沒有防禦使、團練使或刺史處理州務，歸節度使節製。平定荊州之後，宋太祖開始改革節度使轄領文郡的製度，把這些支郡收歸中央朝廷直接管轄，由皇帝派遣京官擔任各州長官，從而分割削弱了節度使的權力輕斷其根須。平定後蜀之後，太祖命令新收各州直隸京師，長吏直接向皇帝奏事。當然以後，這些直隸京師的州郡與原來統領自己的藩鎮之間經常發生摩擦，到宋太宗即位初期，便大規模收回節度使所領支郡，從而基本上解決了這一問題。
其二，剝奪節度史的兵權。乾德元年(963)二月，天雄節度使符彥卿來朝。符彥卿乃周世宗及皇弟趙光義的嶽父，宋太祖待之甚厚。召對廣政殿，賜予衣服和玉帶。宋太祖還有意讓符彥卿典兵。樞密使趙普認為符彥卿名位已盛，不應再授以兵權。趙普多次勸諫，宋太祖不聽。任命書出來後，趙普仍拿著請見太祖。太祖迎上前對趙普說：“豈非符彥卿事耶?”趙普回答說：“非也。”於是奏請其他事情，然後才拿出符彥卿的任命書給太祖看。太祖說：“果然，卿苦疑彥卿?"趙普說：“陛下何以能負周世宗”趙普回答說；“臣托以處分之語有未備者。”宋太祖默然不語，授符彥卿兵權一事遂告中止。為了解除武將的兵權，宋太祖付出了極大的代價，讓節度使重新典兵是極不明智的做法。太祖在趙普的再三勸導下終於明白了個中利害，沒有讓節度使典兵。