公元前85年，在這一年前後，金日磾和司馬遷都雙雙離開了人世，而隨著金日磾的死，霍光的權勢就更加穩固了。
不過極盛之後就是衰弱，這個道理很多人都知道。霍光手下有一個門客便規勸他道：“大將軍，可還記得當初呂氏是怎樣滅亡的？”
霍光：“你想說什麽？”
門客：“當初呂氏身處於伊尹和周公的位置，他們主持朝政，他們大權在握。可因為實在太過強大，使他們逐漸的疏遠了皇室成員，不與他們共同分享利益，所以最終導致了敗亡。如今大將軍在朝中的權勢較當初的呂氏有過之而無不及，陛下又逐漸的成長了起來。我想，大將軍你應該給自己留一條後路了。”
霍光：“恩~~，你說的對，那我應該怎樣操作。”
門客：“簡單，多用皇室成員在宮中擔任重要職位。如此，利益分配了，每個人都得到好處，您的災禍也自然免除了。”
霍光感覺此門客的辦法非常好，便采納了他的建議，大封皇室成員。
一時之間，霍光在漢朝皇族周邊的口碑直線向上。
同年三月，漢昭帝指派N多使者分別前往全國各地，賑濟那些家裏沒有種子和食物的困難戶。
同年九月，霍光和上官桀聯名請奏漢昭帝，希望能派人前往匈奴將李陵給接回漢朝。
為什麽呢？首先，在李陵還沒有投降匈奴之前，和霍光與上官桀的關係是非常好的。
其次，李陵之所以投降匈奴確實是有情可原的，並且之後漢武帝殺了李陵全家也是冤枉了他。
漢昭帝也知道李陵這碼子事兒，所以答應了二人的聯名請奏。
於是，霍光和上官桀任命李陵的好友，隴西人任立政為漢朝特使前往匈奴，明麵上雖然是和匈奴進行正常邦交，可實際上卻是要接李陵回家。
因為當時匈奴內部已經分裂，實力大打折扣，再加上曆任單於多年和漢武帝互相傷害，使得匈奴極需同漢朝停戰，進而休養生息。