安祿山是帶兵打仗的將軍，李林甫是總攬朝政的宰相，兩人並沒有太多的交集，更無太大的矛盾糾葛，因此還算相安無事。
當時，李林甫最強的競爭對手張九齡被罷免，不久便因病去世。新科宰相牛仙客雖然是李隆基跟前的紅人，但對李林甫十分恭敬，凡事都會征求他的意見。準確地說，李林甫最大的挑戰，其實是李隆基對他的信任能夠持續多久。
李林甫清楚自己有幾斤幾兩，為了穩固自己的政治地位，李林甫買通了許多宮中太監，時刻關注著李隆基的行動，甚至是心理活動。張九齡去世之後，李隆基不止一次地發出感歎，希望朝廷的新晉官員能夠以張九齡的標準去選拔。
在李林甫看來，這就是個明顯的政治信號。
接下來的數年，李林甫就做了一件事：鏟除政治新星。尤其是會寫詩詞，會寫文章的青年才俊，以及風流倜儻，聲名卓著的朝堂資深官員。
有一次，李隆基在勤政務本樓舉辦了一次皇家歌舞會。當時，李隆基興致極高，還親自下場表演了一段，隨後便轉身回到勤政務本樓，繼續欣賞節目。就在這個時候，一個身穿朝服，騎著高頭大馬的人從勤政務本樓下徑直而過，讓當時的宴會頓時降了不少格調，所有人都為此人的前途捏了一把汗。
此人名叫盧絢，現任兵部侍郎，是朝中少有的美男子，他以為歌舞會臨近結束，皇帝已經離場，這才敢騎馬路過。當時，李隆基卻發出了這樣的感歎：盧絢風度清雅，含蓄而不露，很像當年的張九齡。說罷，竟然目送盧絢騎馬遠去。
勤政樓上發生的一切，很快就傳到了李林甫的耳朵裏，這讓他非常警覺，按照這種態勢發展下去，難保盧絢不會成為第二個張九齡。
幾天之後，李林甫招來盧絢的兒子，對他說道：“你父親在朝中的名望很高啊，如今正值朝廷用人之際，陛下想讓你的父親前往交州和廣州主持大局，不知你父親意下如何啊？”