把姐姐嫁給衛青後，漢武帝劉徹內心更加不安了。
劉徹是一個雄才大略的皇帝。一般雄才大略的人，權力欲就強，疑心也重。劉徹即位後對威脅自身權威的人和事很敏感。他創辦了內朝，開始把權力集中到宮廷，就是對朝堂袞袞諸公的不信任。衛青一家的勢力遍布朝野、手握兵權，自然也受到了劉徹的猜忌。之前，衛青采納甯乘的建議放低姿態，讓劉徹多少放心了一點，這也是劉徹同意姐姐改嫁衛青的原因之一。姐姐嫁入衛家後，衛青的權勢熏天了，仿佛是“天下第二人”了，劉徹的猜忌心理重新泛起，開始不信任衛家了。他想，即使衛青沒有不臣謀逆的心理，也保不齊被野心家利用啊。
劉徹開始疏遠衛青，主要采取了兩種方法：第一種是讓衛青離開前線軍隊，到長安來居住議政，等於是將衛青高高掛起；第二種是重用霍去病，讓霍去病牽製衛青。這第二招很毒辣，等於是分化衛青家人，“拉攏一派，打擊一派”。霍去病雖然是衛青的外甥，畢竟不姓衛，和衛家人的關係不那麽密切。劉徹更看中的是霍去病的頭腦相對簡單。
霍去病“為人少言不泄，有氣敢往”，隻知道行軍作戰，消滅匈奴，在政治上很幼稚。劉徹曾經勸霍去病學點吳起、孫子的兵法，霍去病回答說行軍打仗不拘泥於古代兵法，學那些玩意兒沒用。劉徹發自內心地，同時也是有目的地，更加寵愛霍去病這個青年俊才了，著意培養，委以軍事重任。一次，劉徹禦駕親臨霍去病的府邸，見到霍家淩亂，就讓霍去病多留心點家裏。霍去病慷慨回答：“匈奴不滅，何以家為？”這句話迅速傳開，成為千古名言。霍去病的聲望隨之節節攀升。
而對於衛青來說，甯乘提醒的“物極必反”的危險終於到來了。
漢朝和匈奴的戰爭在繼續，但衛青失去了對前線部隊的直接指揮權，主要是發揮著名義主帥的作用。相反，霍去病上場表現的機會更多了。