李輔國調派禁衛軍對太上皇用強，甚至將他囚禁在甘露殿一事，全都是瞞著唐肅宗李亨進行的。當時，李輔國安置好李隆基後，和手下的六名禁衛軍將領身穿白衣素服，打算去向李亨請罪。
李亨素來以孝順著稱，如今太上皇的親信被就地解散，李隆基本人也被遷移到甘露殿，任誰都會覺得李亨在清算舊賬。李亨非常憤怒，可看到李輔國和禁衛軍將領堅韌自信的表情，他居然發虛了。
李亨安慰道：“你們辛苦了，興慶宮和太極宮沒什麽分別，你們也是擔心有小人搬弄是非，所以預防萬一，朕不會處罰你們的。”
選擇對李隆基動手，本就是李輔國的人生賭博，他賭定李亨雖然會生氣，卻會默認他的做法。不可否認，他確實賭對了。然而，李亨的沉默和退讓並沒有讓李輔國見好就收，反而讓他開始變本加厲地囂張跋扈起來。
李隆基遷到太極宮後，顏真卿率領群臣前去探望，結果遭到李輔國記恨，沒過幾天，李輔國便編造了一個罪名，將顏真卿貶為蓬州（今四川省南充市儀隴縣）長史。隨後，高力士被流放到巫州（今湖南省懷化市），昔日的禁衛軍首領陳玄禮被剝奪官職，強行進入退休狀態，王承恩被流放到播州（今貴州省遵義市），玉真公主則遷到了玉真觀當起了女道士。
自此，李隆基成了真正的孤家寡人。
客觀地說，打壓歸打壓，李輔國沒有虐待李隆基，李亨也沒有迫害父皇，所有的行動都是在為權力的穩定考慮，無可厚非。
為了安撫李隆基受傷的心靈，李亨給老爹送了一百多名女子，又將李隆基的萬安公主和鹹宜公主召進宮中，專門負責他的衣食起居。至於全國各地進獻的禦用物品，李亨一律先送到甘露殿，讓李隆基優先享用。
李亨也很無奈，他不想讓老爹回到興慶宮，隻能用小事來求得原諒。然而，自此以後，李隆基就開始變得沉默寡言，精神也開始萎靡不振。對他來說，世間的一切都是虛幻的，唯有他記憶中的往事和故人是真實的。