北漢同遼和黨項一樣，也是處在宋北方的割據政權，但是宋對北漢的政策，卻與宋對遼，黨項的政策截然不同，趙匡胤對北漢很不客氣，運用軍事、經濟等各種手段，對北漢進行打擊，並先後三次出兵，攻打北漢，企圖一舉將其殲滅。北漢偏安一隅，雖然土瘠民貧，賦役繁重，但是軍隊卻十分強悍，城堅地險，加上其統治者都臣服於遼，自稱侄皇帝、兒皇帝，挾遼以自重，屢世同後周對立，是宋朝的勁敵。
周世宗與北漢的高平之戰，使北漢受到重創，但終未能將其消滅。宋初李筠反叛，同北漢聯兵，於是雙方開始正麵交鋒。宋雖迅速平定了李筠叛亂，但在進攻汾州(今山西汾陽)的攻城戰中，驍將荊罕儒被北漢軍殺死。趙匡胤大為惱怒，連斬了作戰不力的二十九員荊罕儒部將校以泄憤。對於這次失利，趙匡胤始終耿耿於懷，因此便廣泛征求臣僚意見，打算一舉消滅北漢政權。但臣僚們卻大多對此持有異議。如武勝節度使張永德認為，北漢兵力不多卻很精悍，加上有遼作後盾，恐怕難以迅速攻取。可以每年派出一些遊兵，破壞其農業生產，並向北漢派出間諜，設法離間北漢與遼的關係、待其內外交困，再伺機進攻，可一戰而勝。華州團練使張暉也認為：“澤、潞瘡痍未瘳，軍務薦興，恐不堪命。不若戢兵育民，俟富庶而後圖之。”趙普也不同意：“太原位於西北二邊，如一舉而下，就要獨力承擔遼軍南下的禍患。不如暫且讓它苟延殘喘，等南方平定之後，那巴掌大的一塊地方，還能逃到哪裏?”趙匡胤不是一個剛愎自用的人，他虛心地采納了眾人的意見，決定“且存繼元，為我屏翰，俟我完實，取之未晚”。
趙匡胤雖將兵力轉向了南方，但對北漢也沒有忘記，時刻注意著北漢的動態，準備一有機會，就攻打北漢。於是，選用將領應該對自己的話負責，鎮守邊關，對北漢的騷擾進行堅決打擊。同時，展開外交攻勢，派遣一個名叫蓋留的人出使北漢，對北漢主劉鈞說：“你們和後周是世仇，不服其統治完全可以理解。但我大宋與此無幹，為何仍然不肯臣服。如果你有誌爭奪中原，應舉兵南下太行，一決雌雄。”劉鈞回答道：“河東土地甲兵，難以抵擋中國。但我之所以守此一方之地，不過是為了保住劉氏宗祀，並不是故意反叛。”史載，趙匡胤哀其言，笑著說：“為我語鈞，開爾一條生路。”因此終其世不加兵。自然，這是封建史家的溢美之詞。事實上趙匡胤並不是心懷惻隱憐憫，高抬貴手放北漢一條生路。他絕不能對北漢這樣仁慈，而是由於此時正在用兵南方，無暇北顧，隻能對北漢進行恐嚇。當平定後蜀之後，趙匡胤的實力大為增強，於是對先南後北的策略做了局部調整，把注意力轉向了北漢。