李林甫死後，最先起來的，是安祿山。
說起來大多數人都不知道，安祿山是相當害怕李林甫的。據史書記載，安祿山每次入朝見到李林甫時都特別緊張。但凡兩個人談事情，不用安祿山開口，李林甫就總能知道他想說什麽，並且極為準確地把安祿山想要說的話提前講出來，還說得更有邏輯、更準確。所以數次交談之後，一向鄙夷滿朝文武的安祿山徹底被李林甫鎮住了。
由於對李林甫實在是又服氣又畏懼，即便安祿山不去長安覲見，每回在派去辦事的人回來匯報工作時，他總是會習慣性地先問十郎（李林甫）說了什麽。如果聽說李林甫稱讚了自己，安祿山會高興得蹦起來；如果李林甫說“大夫（安祿山官拜禦史大夫）需要好好檢討一下自己”之類的話，安祿山就會焦躁不安地猛拍自己的胡床，大叫道“我這回可是真的要死了啊”。
雖說迄今為止，史學界對於李林甫的曆史功過問題一直爭論不休，尚無定論，但有一點是可以達成明確共識的，那就是倘若李林甫在世，安祿山無論如何都不敢扯旗造反。
安祿山之所以有了堅定的叛亂之心，並最終付諸行動，最主要的原因還是接替李林甫擔任宰相的楊國忠著實太差了。
正如李林甫生前預料中的那樣，楊國忠在他死後不久便被任命為右相，同時兼任吏部尚書，掌握住了人事上的生殺予奪大權。但大家很快就發現，楊國忠根本取代不了李林甫。
比如二人雖然同樣口齒伶俐，能侃侃而談，但李林甫一本正經地胡說八道時，讓人聽起來頭頭是道，且有去試試的念頭；而楊國忠則讓人感覺為人輕率浮躁，沒有威嚴。同樣是排斥異己，搞黨同伐異，李林甫是殺人無形、滴水不漏；而楊國忠弄得滿城風雨、罵聲一片。
對於楊國忠的能力水平，李隆基應該也是了解的，但對皇帝陛下來講，他的選擇也不多。因為這個新宰相，首先必須是李隆基信任的，這樣才能夠放心把政務托付給他；其次，要和太子李亨的關係不和，這樣才能保證自己在同楊貴妃泡澡時不會被莫名其妙地變成太上皇；最後能力也不能太強，否則太子很可能會被玩廢了。