唐末五代以來，武夫悍將把持朝政，君弱政亂，吏治大壞。這種混亂局麵不改變，就無法實現國家的統一和富強，宋太祖下了很大決心，用了很大力量整頓吏治，以期出現一個生機盎然的政治局麵。
宋太祖建政之初從中央到地方各級政府舊有的官吏除留用前代的官吏外，又多方選拔有才能的人進入各級官府。隨著一批舊官僚被淘汰以及剛剛統一的地區需要大批精明強幹的官員進行統治，所以人才一度匱乏。如距開國已十一年的開寶四年(971),各道幕職、州縣官尚缺八百多員。因此，選拔官吏成為太祖一朝的要務。
太祖選拔官吏多種途徑並舉，如科舉、薦舉等。科舉取士前文已述。薦舉是選拔官吏的重要渠道之一。太祖曾就所需不同類別的官吏多次下令在任的各級官員進行舉薦。建隆三年(962),命令翰林學士、文班常參官曾經擔任過幕職、州縣官的人各自舉薦能夠擔任賓佐、令錄者一人，有才德者，即使是近親，也在推舉之列。開寶三年
(970),命令各州縣官吏分別考察百姓中孝悌聞名、德才兼備的人，滿五千戶可推舉一人，如確有奇才異行者，不受此數限製通過舉薦廣泛快捷選拔官員，顯示了太祖急需人才的迫切心清。但這絕不意味著一哄而上，濫舉濫用。因為那些被舉薦上來的人必須具有真才實學，名實相符，有的還要加以麵試，不合格者不僅不能錄用，而且舉薦的人也要連坐治罪。其次，舉薦者還要對被舉薦者的為政情況負責，若當官後貪汙受賄，畏懦無能，政事不舉，舉主也無一例外地要受到懲處。史載，建隆二年(961)初，太仆少卿王承哲因舉官失實，被貶為殿中丞。開寶九年(976),宋太祖命令翰林學士李昉等三人在禮部貢院一起閱試各地以孝弟力田及有文武才幹的名義推薦上來的四百七十八人，發現他們“所習之業，皆無可采”。特別是濮州以孝悌名義推薦上來的多達二百七十人，宋太祖對此感到驚訝，於是到講武殿親自召問，結果都不符合要求。又按他們自己所言“能習武”試以騎射，卻都紛紛從馬上跌落下來。宋太祖說隻能隸兵籍，這些人“號泣求免”。結果被全部退回，並“劾本州官司濫舉之罪”。盡管如此嚴格，還是有少數人通過各種不正當手段而僥幸獲得官職，如左拾遺高錫所指出的“近廷臣承詔各舉所知，或有因行賂獲薦者”。因此，宋太祖采納高錫的建議，懸以重賞，鼓勵近親、奴婢、鄰裏對以不正當手段獲薦者進行檢舉揭發。這樣基本上堵塞了舉薦官吏中以權謀私的漏洞，保證了舉薦官吏的質量，從而為吏治清廉打下了較好的基礎。