李林甫為唐高祖的堂弟長平王叔良的曾孫，因其善音律，初為負責宮廷宿衛、儀仗的低級官吏，後靠著一套諂媚逢迎的本領，爬上了宰相的高位。當了宰相後，他在與人接觸中總裝出一副平易近人的樣子，使人以為他是一位忠臣。實際上，他的肚子裏卻藏著毒劍，隨時可能暗中傷人。正如司馬光在《資治通鑒》中的描寫：“李林甫為相，凡才望功業出己右，及威望所厚，勢位將逼己者，必百計去之。尤忌文學之士。或陽與之善，啖以甘言，而陰諂之。世謂李林甫口有蜜、腹有劍。”
當時與李林甫同任宰相的張九齡，才能卓著，為官清正。李林甫嫉妒張九齡的才德，總想設計鏟除他。玄宗的武惠妃愛傾後宮，所生壽王、盛王特別受寵愛，而太子瑛被疏遠了。李林甫遂在玄宗麵前誣告太子等有怨言，並結黨營私，圖謀不軌。玄宗大怒，欲廢掉太子，與張九齡商量。張九齡認為，太子為國本，生長在宮中，受陛下的親教，並沒有過失，皇上不能因自己的喜怒而廢掉他。玄宗聽後，大為不悅。李林甫當時在場一言未發，後來卻在玄宗寵愛的宦官麵前說：“皇家之事，何須與別人商量。”言外之意，指張九齡伸手太長，多管閑事。這些話不久就傳到玄宗的耳中，玄宗也覺得張九齡太專斷，李林甫又趁機在玄宗麵前說了一大堆張九齡的壞話。
公元736年，玄宗欲晉升朔方節度使牛仙客。張九齡上奏說：“邊將訓練兵馬，儲蓄軍實，這是分內的工作，陛下獎賞他是應該的，而欲賜以食邑，那就不合適了。”玄宗聽罷無言，李林甫當時也未發言，回來卻把此話告訴了牛仙客。第二天，牛仙客見玄宗，流淚放棄官爵。玄宗仍想加封牛仙客，張九齡據理力爭。玄宗非常生氣地說：“任何事情總是由你決定嗎？”張九齡講，這是自己的分內事，而且牛仙客本是小吏出身，目不識丁而拔擢為宰相，是不合適的，李林甫後來暗中向玄宗進言說：“天子用人，有何不可？張九齡不過是一個文官，拘泥古義，不識大體，成不了大器。”玄宗因此更加不高興。