東漢建立之後，匈奴對東漢政權基本上持一種敵視態度。他們除不時南下侵擾之外，還支持彭寵的叛亂，到了後來又扶植盧芳建立傀儡政權，使北方邊境烽煙四起。
劉秀因為東漢初期的現實情況不允許對匈奴用兵，所以對匈奴采取羈糜政策。建武六年(公元30),他首次與匈奴通使，所派使臣仍然是當年更始遣使匈奴的歸德侯劉颯。不過這次匈奴人對待使臣還算客氣，“亦遣使來獻”,給予積極的回應。劉秀看到這種情況，自然高興，於是“複令中郎將韓統報命，賂遺金幣，以通舊好”。
沒有想到這回匈奴單於又驕踞起來，“自比冒頓，對使者辭語悖慢”。盡管如此，劉秀仍然委曲求全，“待之如初”,從而在表麵上維持著“使命常通”的局麵。然而匈奴人並不滿足於這種狀況，他們“數與盧芳共侵北邊”,這就嚴重威脅著東漢帝國的安全。
建武九年，劉秀令大司馬吳漢率王常等四位將軍進擊盧芳屬將賈覽、閔堪於高柳(今山西陽高)。賈覽、閔堪由於得到匈奴的救援，兵力增強了許多，吳漢等連戰不利，“經歲無功”。由是“匈奴轉盛，鈔暴日增”,至建武十三年，“遂寇河東，州郡不能禁”。建武十五年，劉秀一麵“遣吳漢率馬成、馬武等北擊匈奴”,一麵“徒雁門、代郡、上穀吏民六萬餘口置居庸、常山關以東，以避胡寇”。這樣一來，匈奴左部便乘虛“轉居塞內”;東漢政府因為這件事而感到擔憂，於是“增緣邊兵郡數千人，大築亭候，修烽火”,開始加強防禦。
當然，這期間雙方也並非因此而沒有來往。例如建武十四年，匈奴便曾“遣使奉獻”,而東漢也派遣中郎將劉襄回報。這樣，漢甸之間信息的傳遞還是靈通的。這個時期，盧芳亡命在匈奴，“匈奴聞漢購求盧芳，貪得財幣，乃遣芳還降，望得其賞”。這樣一來，“盧芳自匈奴複入居高柳”。然而盧芳自從回到漢境之後，“以自歸為功，不稱匈奴所遣”,自己投降了東漢，並因此被封為代王。這就等於讓匈奴吃了一個啞巴虧，因為這個原因“單於複恥言其計”“由是大恨，入寇尤深二十年，遂至上黨、扶風、天水；二十一年冬，複寇上穀。中山，殺略鈔掠甚眾，北邊無複寧歲”。