正月初一，肅宗長孫、李豫長子、皇太子、雍王、天下兵馬元帥李適率團在陝州會見牟羽可汗，因禮儀問題發生激烈衝突，隨員遭毒打，死三人。玄宗得知，痛哭流涕，將此事稱為“唐朝陝州之辱”。
初春，皇後張良娣、宦官李輔國等聯合上表，敦請肅宗以“圖謀複辟罪”為由誅殺劍州太守裴冕。玄宗乘駝轎到太極宮外抗議：“昔時安賊作亂，朕在益昌郡遙詔汝充天下兵馬元帥，以冕為禦史中丞兼左庶子，其與杜鴻漸、崔漪等擁立汝為帝，有功，被遷中書侍郎、同中書門下平章事，後利欲熏心，因賣官鬻爵惡行流放蜀地，也算是罪有應得，何必趕盡殺絕？”肅宗指著三車訴狀說：“裴冕膽大妄為，招搖撞騙，假傳太上皇聖旨，已將蜀地六十年後之太守、刺史、兵馬使、支度使、營田使、招討使、經略使、節度使等官位全部賣出，影響惡劣，不殺，何以麵對天下？”玄宗憤然反駁道：“朕退居二線久也！朕門可羅雀久也！朕為臣民所忘久也！裴冕即便假以朕之聲威，富商士卒豈不知當前主政者是誰？他們都是人精，怎會心甘情願上當？搞清楚這個問題，再論罪不遲！”肅宗回頭問張良娣、李輔國：“朕該怎麽說？”正當此時，川康邊地步卒、投筆從戎之文士崔旰以駱駝運輸士兵右耳三千隻抵達，並迅速在庭院中擺出“克城之日，土地、士庶歸唐，金帛、子女皆歸回紇”字樣。“倏”和“忽”厲聲喝問：“這是你們當初借回紇兵時答應的條件嗎？”肅宗無言以對。此後，他拒絕與太上皇見麵議事。於是，裴冕升任成都尹，充劍南西川節度使。西川節度使嚴武對崔旰大為讚賞，奏為華陽縣令。玄宗得知史朝義殺死偽皇後辛氏、太子史朝英等數十人，預言其必敗，三次寫信給肅宗，聲稱天下將歸太平，請求赦還高力士，未果。又提出用“倏”和“忽”同史朝義交換阿嗜尼。皇後張良娣代替肅宗回信：昔時二妖孽為安祿山開鑿耳目，禍害天下，生靈塗炭，如今，史朝義已成敗家之犬，如若送去“倏”、“忽”，誰曉得會生出什麽孽事來。玄宗悲慟不已，寫信說：“朕身為太上皇，卻日日囚禁於駝轎中，不見玉環歌舞，不聞力士請安，而‘倏’、‘忽’不解朕意，隻會胡言亂語，不堪忍受！朕承蒙眾大臣厚愛，推舉為太上皇，但對權位早就心灰意冷，不再感興趣。現在，朕尋求一個小小的開心果阿嗜尼，這個願望都實現不了？安祿山叛亂以來，朝野諸事皆逆朕意，這次朕說話要算數！朕知道國庫空虛，朕絕不消耗公款，朕在興慶宮中飼養禦馬三百匹，自費完成這項出差使命，何如？”