因為上官皇後沒有孩子，霍光於是也麵臨了高後呂雉當年的窘境，隻能在劉姓的其他宗室裏找人出來做皇帝。那找誰好呢？按當時的情況，武帝劉徹的兒子中唯一還健在的是廣陵王劉胥，但是大臣們都說這個人不行，智力低下且道德品質差，當年劉徹就看不起他，現在更不能讓他來接這個班。而且，他是劉弗陵的哥哥，帝位的繼承講究父死子繼，實在不行就兄終弟及，劉胥他算哪出？
那劉胥不行誰行呢？
這不還有昌邑王劉賀嗎？他是劉髆的兒子，按輩分來講，是昭帝的侄子，可以讓他做劉弗陵的嗣子，以嗣子身份繼承皇位。
事情真的是這樣嗎？恐怕不然。劉胥這個人固然四肢發達、頭腦簡單、做事荒唐，可劉賀也不是什麽好鳥，他的狂縱無節也是出了名的。別的不說，就說當年給武帝劉徹服喪期間，劉賀還到處遊山玩水，甚至在方與這個地方半天就縱馬狂奔二百裏。手下臣子諫他，他就假裝收斂一下，沒幾天就又恢複如常。這樣的人恐怕也不適合做皇帝，那為什麽霍光會選他呢？
答案是劉胥這人年紀大了，有自己的主見和認知，而且天生神力，沒事的時候就喜歡赤手空拳和熊、野豬一類的猛獸搏鬥，他要是當了皇帝，哪天和霍光說掰了，搞不好會當場手撕霍光，霍光不敢冒這個險；而劉賀年紀小，沒主見，容易控製，或者說霍光認為這個人相對容易控製。
劉賀手下有個明眼人，這個人叫王吉。接到朝廷讓他到長安做皇帝的消息後，劉賀高興得簡直迫不及待，黎明接到消息便馬上命令手下打包家當，日中就開始往長安跑，晡時就到了定陶。在那個沒有高鐵的年代，帶著這麽一大家子人，兩個時辰居然跑出一百三十多裏，可見他有多急切。
這時王吉告訴劉賀，現在是皇帝死了才征他去長安的，他是去奔喪的，應該日夜不停地悲戚號哭，不能這麽興高采烈，而且到了長安也不能亂說話。他還說，大將軍這個人“仁愛、智勇、忠信”的美德是天下都知道的，一旦劉賀做了皇帝，隻需要“事之、敬之”，不管是朝政還是什麽事都“壹聽之”，他隻需要“垂拱麵南”做個擺設就可以了。