霍光是霍去病同父異母的弟弟，霍去病在戰場上橫掃匈奴大受皇帝的寵愛，愛屋及烏的劉徹自然也十分喜愛霍光。霍光十幾歲時，劉徹就讓他做了自己的侍衛。霍去病死後，霍光也沒有被冷落，一直由郎官做到奉車都尉、光祿大夫，始終侍奉在皇帝身邊。
有衛青和霍去病兩人的光輝事跡，這一家人也可稱為將門世家，但霍光是這家人中的一個另類。對於衛青和霍去病，他們有什麽本事，我們很清楚，可要說霍光有什麽本事，我們卻不是很清楚，隻知道他平日裏行止十分有度，甚至到了這種地步：每次出入殿門，霍光走的路線長短以及步伐大小，甚至最後停下來的位置，從來沒有變過。當時就有好事者專門對此進行過測量。正是因為霍光行事如此一致，所以他在皇帝身邊工作了二十多年，從來沒有出過錯。
這就是他的本事。人人都說“伴君如伴虎”，能在皇帝身邊二十多年而沒有被皇帝挑剔過一次，這是什麽概念？有人說，這是因為霍光為人小心謹慎。這個因素不可否認，但比小心謹慎更重要的是，這說明霍光這個人城府極深，很會裝，能藏得住，也能沉得住氣。當然，他的運氣也很好。漢朝的時候犯事最多不過滅三族，要是碰到後世的滅九族，甚至再不幸點兒，像方孝孺一樣被滅十族，就後來衛氏一門的事情，他肯定也會被牽涉進去而丟了性命。不管怎麽樣，城府極深、心思縝密又小心謹慎的霍光最終讓對誰都不滿、對誰都猜疑的劉徹也不由得對他信任有加，在最後需要選擇托付對象的時候，劉徹跳過了三公，跳過了九卿，而選擇了霍光做輔政大臣第一人。
當然，這樣說有人可能會覺得我嘩眾取寵，淨把人往壞處想。對此，我必須嚴正聲明：“城府極深”應該是個中性詞，並沒有褒義或貶義之分。奸臣要有城府，忠臣更要有城府。當年看周星馳的《九品芝麻官》，裏麵有一句話說得很好，大意是說貪官奸，清官要比貪官更奸才治得了貪官。這裏的“奸”也不是個貶義詞。而且，如果霍光不是這樣的人，那請問，怎麽解釋劉徹托孤之前的那件事情？當時，劉徹讓人送了一幅《周公負成王朝諸侯》給霍光，其中的托孤之意簡直躍然紙上，可霍光硬是表現出一臉的茫然，繼續裝傻，眼看皇帝快不行了，還要問他：“如果陛下不幸棄天下而去，誰來繼承皇位？”劉徹隻好挑明了說：“送你那幅畫還看不懂嗎？立小兒子，你來做周公。”如果以霍光的智商拿到畫的時候還不知道是什麽意思，那他也不用做什麽周公了，可他就是能裝傻充愣，能沉得住氣，才最終坐到了大司馬大將軍這個真正一人之下萬人之上的位置。