按照朝廷的慣例，每到下半年，李隆基都會帶著文武百官、後宮嬪妃前往洛陽居住，一來洛陽是大唐的東都，皇帝應該時常巡幸，以示皇恩浩**，二來入冬之後黃河封凍，給西京長安運送糧食異常艱難，前往洛陽居住，可以減少運輸的壓力，給國家財政減輕負擔。
按照李隆基的行程安排，會在開元二十五年（737）二月初二啟程回長安。
然而，開元二十四年（736）九月，李隆基緊急傳召張九齡、裴耀卿和李林甫三人，說他在洛陽宮遇到了不幹淨的東西，希望能提前回長安城。三位宰相入宮前還在納悶，以為是什麽重要的軍國大事，聽聞之後，這才明白李隆基“撞上了鬼”。
張九齡聽了勸說道：“陛下，長安和洛陽路途遙遠，咱們經過半個多月的折騰才到洛陽，這還沒有安定下來就要返回長安。這一來一回不打緊，可苦了老百姓啊，要不然等一段時間再說吧！”
裴耀卿也不想大家夥折騰，於是附和著張九齡的發言。
李林甫在幹嗎？
他眯著眼，觀察著李隆基的麵部表情，從盼望到失望，從失望到麵色如霜，剩下的便是無奈。然而，李林甫卻始終不發一言。
李隆基確實想回長安，礙於兩位宰相的反對，隻好作罷。會後，張九齡和裴耀卿率先離去，李林甫私下求見李隆基，聲稱有要事請奏。
李隆基：“愛卿，你怎麽還沒走，找朕有什麽事嗎？”
李林甫諂媚地說道：“陛下，您不必因為二位宰相的阻撓而憂慮，張大人雖然說得很有道理，但也不全對。洛陽和長安都是陛下的家，您想來就來，想走就走，何須征求他們的意見？再者說，雖然朝廷的車駕很擾民，您隻要宣示天下，免掉所過之地的賦稅不就行了嗎？怎麽能讓宰相主宰陛下的決定呢？”
李隆基精光一閃，對這位排行第三的宰相開始另眼相看。