唐玄宗於天寶四載（745）納楊太真為貴妃，深居宮中，怠於政事。加之唐玄宗信奉道教，且對他在位期間傳入的密宗佛教展現出極大的興趣，道教和密宗佛教都不鼓勵唐玄宗積極過問國家事務，於是唐玄宗對朝政愈加疏遠。
相繼以李林甫和楊國忠為宰相。李林甫在其擔任宰相一職的初期，因受到張九齡等人的牽製，朝廷還處於相對安定的狀態。然而到了李林甫掌權的後期，他黨同伐異，擅權跋扈。開元二十四年（736）補闕杜璡因上書言事，第二天就被貶黜為下邽令。此事之後，朝中無人再敢進諫。而牛仙客之死則使得局勢發生巨大變化，代替牛仙客之職的李適之與李林甫展開了激烈的政治鬥爭。
李適之很快就與李林甫形成對峙之勢，以李適之為領袖的貴族集團還包括：由於運輸政策和財政方麵的成就而深受玄宗賞識的韋堅；繼李適之從742年至744年任幽州（範陽）節度使，然後擔任戶部尚書一職的裴寬；於743年至744年在浙江沿海肅清海盜後被任命為刑部尚書的裴敦複；在隴右與吐蕃作戰中取得重大勝利的隴右節度使皇甫惟明。該集團的人員構成即表明了它在財政及防務方麵具有的強大勢力。
天寶三載（744），當時任吏部尚書的李林甫由於任人唯親被任範陽和平盧兩鎮節度使的安祿山指控，於是唐玄宗親自重新對應試士人進行考試，結果那個名列榜首的人交了白卷。此事以唐玄宗將吏部兩個侍郎外放到地方而告終。至於李林甫，他未受到任何懲處，但是此事也無疑損害了他的威望。
從天寶三載起，李林甫開始沉重打擊他的政敵。首先，李林甫挑起裴寬和裴敦複的不和，使得裴寬和裴敦複都被外放到地方。接著他向唐玄宗進讒以使李適之的名譽掃地，李林甫於天寶四載（745）煽起了對以李適之為首的刑部官員的嚴厲調查。天寶四載九月，他又將擔任財政和運輸等使職的韋堅調任為刑部尚書，並將韋堅的財政的職務轉給當時與他關係密切的楊慎矜。此時的政治鬥爭仍然是按照不流血的政治方式進行的，然而當政治鬥爭進行到次年時，一場激烈的大清洗便開始了。