劉邦回到了軍營裏，雖然身邊又有了三十幾萬人馬，但白登山頂那幾天幾夜的寒風把他的膽氣全給吹沒了，他哪裏還敢逗留？隻好命令樊噲帶領一支隊伍去平定代地，他自己灰溜溜地跑回長安了。
劉邦回了長安，可匈奴人沒有消停的意思。漢軍的撤退又助長了他們的氣焰。另外，韓王信做了漢奸後，學會了匈奴的遊擊戰術，更是不遺餘力地表現自己，不斷地率領叛軍騷擾北方的邊境，使邊境越發不得安寧。樊噲平定了代這個地方後，劉邦原本任命自己的二哥劉仲去那裏做王。然而，劉仲和劉邦雖是一母同胞，但他哪有劉邦的本事，沒幾天就不堪匈奴的騷擾私自跑回了長安。
劉邦看著自己不爭氣的哥哥隻能苦笑：也是，他劉邦自己都打不贏匈奴人，自己這個老實巴交的農民二哥又能怎麽樣呢？
劉邦倒也不怪罪劉仲，但代王是不能讓他當了，就讓他做個合陽侯安安分分地過日子吧。不過，對劉邦來說，劉仲可以不管，可不能不管匈奴人。打又打不過，守又守不住，難道要將這偌大的地方棄之不理嗎？
劉邦想到了當時勸他不要輕易進攻冒頓的劉敬，又把劉敬找來和他商量有什麽辦法能讓冒頓在邊境上消停一點兒。
劉敬說：“辦法是有，就是陛下您辦不到而已。”
一聽劉敬真的有主意，劉邦喜出望外，馬上表示隻要能解決邊境問題，什麽事情都可以商量。
劉敬先是頓了頓，又思慮了一會兒，才下定決心般地告訴劉邦：“我們經曆了多年的戰爭，將士們都很疲勞，不好再大動幹戈。冒頓是一個為當單於連自己的父親都可以殺的人，而且他當了單於後還霸占了父親的小老婆。和這種人是沒有什麽規矩也沒有什麽仁義可講的，我們很難算計到他，要算計也隻能算計他的子孫後代。”