劉徹在選擇托孤人選的時候實在是費了不少心思。在他看來，霍光忠誠能幹，上官桀能征慣戰，桑弘羊善於理財，金日磾最能體現他晚年胡漢一家和平發展的思想，這一陣容可謂能文能武、胡漢結合，既能搞政治又能搞經濟，實在是好得不能再好了。那麽，這裏有個問題：除去霍光，在上官桀、桑弘羊、金日磾三個人裏麵，誰是劉徹最為看重的呢？
答案或許有些出乎你的意料，不是打過匈奴、征過大宛的上官桀，也不是經濟能手桑弘羊，而是匈奴人金日磾。
金日磾原是休屠王子，本可在草原上過上層社會的生活，不巧當時漢朝出了個霍去病，帶兵橫掃草原，先搶了休屠部落祭天的金人，後又逼得匈奴的渾邪王和休屠王走投無路，隻好投降。投降就投降吧，按劉徹的習慣，休屠王投降過來雖然不能再稱王，但做個侯爺總是沒有問題的，金日磾不是王子也還是個公子。沒想到，休屠王臨場退縮，當即就被渾邪王殺了，他的手下死的死、散的散，剩下那些沒死沒散的則並入了渾邪王手下。金日磾一下子成了孤家寡人，隻能跟隨母親帶著弟弟來到長安城，在黃門做一名養馬的馬夫。這一年是元狩二年(公元前121年)，金日磾十四歲。
讓匈奴人養馬，朝廷也算物盡其用。十四歲的金日磾在母親的教導下並沒有生活在仇恨中，他每天都認真做著自己該做的事情，切草、喂料、放馬，毫不倦怠。機會總是青睞那些認真的人。金日磾把馬養得又肥又壯，人也長得高大威嚴，而且行事端正，得到劉徹極大的賞識。他先做了馬監，很快又被提拔為侍中、駙馬都尉，後來又升為光祿大夫，出入都跟隨在劉徹身邊。
能夠時常跟在皇帝身邊，即便是在漢人官員裏，也是不可多得的榮耀，可金日磾從沒敢忘記自己的身份，幾十年間在皇帝身邊目不忤視。劉徹賞賜的宮女他也一個不碰，更是曾經生擒莽何羅，救了劉徹一命。可以說，他對皇帝的謹慎、忠誠，絲毫不比霍光差。