李林甫之所以決定要出手算計李適之，據說是因為他做了一個十分清晰、真實的夢。夢中的李林甫見到一個瘦高個、長胡子的人步步逼近，然後就杵在自己身邊，怎麽推都推不走，直到被逼到無路可走才驚醒過來。
起初，李林甫並沒有把這個夢當回事，直到他碰見了裴寬。
裴寬是李適之的好朋友。天寶三載（744），李隆基任命安祿山為範陽節度使，就征召這位身為前範陽節度使的裴寬入朝出任戶部尚書兼禦史大夫。
李林甫見到裴寬的時候就覺得他同夢中的那個人長得有幾分相似，心中有了些許不安。不久之後，他得知皇帝陛下從河北地區的將士那兒聽說裴寬在範陽期間為政嚴明，深得各族百姓的愛戴，龍顏大悅，有意進一步重用裴寬。
考慮到裴寬已經是監察係統的一把手兼財政部的部長，再升一級也就是宰相了。再加上此人與李適之交好，一旦進到中書門下一定會同李適之聯手限製自己，所以李林甫決意從裴寬開始，將這兩位潛在的競爭對手一一除掉。
思來想去，李林甫最終想到了一招借刀殺人的妙計。他先找到曾經被裴寬揭露虛報戰功的刑部尚書裴敦複，用一番洗腦式的嘮嗑讓裴敦複相信他是自己人。隨後李林甫巧妙地擴大並利用二人之間的既有矛盾，讓裴敦複賄賂楊貴妃的姐姐秦國夫人楊三娘，將裴寬貶為睢陽太守。見裴敦複出招成功，李林甫“黃雀在後”，突然出手將其外調為嶺南五府經略使，緊接著又找了個借口將他貶為淄川太守，完成了對李適之、裴寬聯盟的徹底扼殺。
等到裴寬再無翻身的可能，李林甫開始一邊給李適之挖坑，破壞對方在李隆基心中的美好形象，一邊設計剪除張垍、韋堅、皇甫惟明等同李適之要好的朝臣，終於迫使李適之主動提出辭職。