嫪毐已經被解除駕照了，接下來就是呂不韋了。
呂不韋確實數有大功於秦國。當初若不是呂不韋的安排，子異、秦王政一家早不知流落到哪裏去了，哪還有今天！想到這裏，秦王政陰森、沉重的臉上也不免露出一絲柔情。呂不韋沒有篡位的行跡，相反他平叛有功：平息了嫪毐大哥的軍事政變，免去秦王的殺身之禍。今天他秦王政能夠順利親政，體會君臨萬眾的榮耀，全賴呂不韋的鼎力襄助。
但是，徜徉在秦王嬴政臉上的柔情並沒有停留太久。呂不韋和嫪毐一樣，兩家都是以侵奪王權作為存在和發展的前提的。嫪毐畢竟隻是個暴發戶，而呂不韋則是三朝元老，在秦國根基很深，長期任用高品質人才，織起了一個盤根錯節的大網。
秦王政喜歡讀韓非子的書，帶有很強的專製欲望，深知君主必須獨治的政治法則，而剛好呂不韋也迷戀權力。解決辦法隻有一個：秦王政或者呂不韋，其中一人實質性地退出權力結構。
於是，秦王政命令呂不韋退休，回到封地洛陽去。
呂不韋謝恩。他被罷了官，限期離開鹹陽，一切仿佛夢一場。他惶惶如喪家之犬，年已五十來歲。
在接下來的一年裏，呂不韋實在應該多看一些老子道家的書，當個江湖散人算了，但是他迷戀權力的老毛病就跟他年輕時候用五百金投資子異時一樣嚴重，記憶中鹹陽的優美片段總止不住要錚錚作響。呂不韋還是巴望著有一天能夠重返政壇，所以他借助諸侯各國的媒體（也就是當時所謂的“賓客”，他們嗓門很大，充當了當時的媒體）向鹹陽城施加壓力。
史書上說，各地的媒體（“賓客”）和諸侯使者紛紛向秦王政求情，絡繹不絕，要求給呂不韋複官。但是，適得其反，秦王政不但沒有再次起用呂不韋的意思，反倒震驚於呂在民間和諸侯間巨大的影響力，恐其為變，立刻發出更深更遠的流放令：把呂不韋驅逐到偏僻的四川山溝裏，看他還怎麽跟媒體勾搭！