對付韋堅、李適之和皇甫惟明，李林甫可以用權謀，可對付王忠嗣，李林甫就得找個旗鼓相當的對手，安祿山自然是首選之人。想想看，王忠嗣霸占著四大節度使的位置，手握二十七萬兵馬，勢力遠超過安祿山。這樣的一塊肥肉，安祿山難道不覬覦？隻要有共同的利益，就有合作的可能。
天寶六年（747），安祿山奏請朝廷，希望在河北承德市興隆縣建造一座雄武城，用來存儲兵器和糧食，作為抵禦少數民族的軍事基地。與此同時，安祿山給王忠嗣送了一封信，表示兩人的防區很近，希望王忠嗣能親自前去商量。
據史料記載，王忠嗣去了，不過留了個心眼，去的時候沒有提前和安祿山打招呼，他偷偷摸摸調研了一番，發現安祿山並沒有建造城池的動作，於是星夜兼程地逃回老巢。隨後，他就給李隆基遞了一道密折，將此事的原委和盤托出，同時給出了自己的看法：安祿山居心叵測，日後必反。
這話說得夠明白了吧，李隆基你自己看著辦吧！
遺憾的是，李隆基卻習慣性地忽視了。張九齡在的時候，就揚言安祿山會造反，如今十年過去，安祿山毫無謀反的跡象，而且和長安方麵越走越近！換作任何人來思考這個問題，都不會懷疑安祿山的忠誠吧？
王忠嗣，你如果不是杞人憂天，就是別有用心。
不幸的是，李隆基選擇相信後者。在他的眼裏，王忠嗣的地盤比安祿山大，卻選擇詆毀安祿山，這是想吞並安祿山，繼續擴大防區的陰謀。
李隆基將王忠嗣的奏折放在一邊，並沒有理會。
不過，王忠嗣卻坐不住了，直覺告訴他，自己可能失寵了。李隆基、李林甫和安祿山站在一起，如果自己還是不識時務，離死的日子恐怕真的不遠了。沒過幾天，王忠嗣就主動遞交了辭呈：辭去河東、朔方節度使之職！