唐代安史之亂爆發，唐玄宗在西逃過程中，太子李亨在群臣擁護下，於靈武即皇帝位，是為肅宗。在艱難之際，肅宗之子李倜、李琰立有大功，其正妻張皇後及宦官李輔國因擁立有功而相表裏，專權用事，謀廢李琰，擁立李倜為太子。
在爭權過程中，張皇後與李輔國發生衝突。公元762年，肅宗病重時，張皇後召太子李倜入宮，對他說：“李輔國久典禁兵，製敕皆以之出，擅逼聖皇（唐玄宗），其罪甚大，所忌者吾與太子。今主上彌留，輔國陰與程元振謀作亂，不可不誅。”太子不同意，張皇後隻好找太子之弟李係謀誅李輔國。此事被另一個重要宦官程元振得知，密告李輔國，他們共同勒兵收捕李係，囚禁張皇後，驚死肅宗，而擁立太子繼皇帝位，是為唐代宗。
李輔國擁立代宗，誌驕意滿，對代宗說： “大家（唐人稱天子）但居禁中，外事聽老奴處分。”聽到這種驕人的口氣，代宗心中不平，因其手握兵權，也不敢發作，隻好尊他為“尚父”，事無大小皆先谘之，群臣出入皆先詣。李輔國自恃功高權大，也泰然處之，孰知代宗除他之心已萌。
在擁立代宗時，程元振與李輔國合謀，事成之後，程元振所得不如李輔國多，未免有些怨恨，這些被代宗看在眼裏，也記在心上。於是他決定利用程元振，乘機罷免李輔國的判元帥行軍司馬之職，以程元振代之。李輔國失去軍權，開始有些害怕，便以功高相邀，上表遜位。不想代宗就勢罷免他所兼的中書令一職，賞他博陸王一爵，連政務也給他奪去。
此時，李輔國才知大勢已去，悲憤哽咽地對代宗說： “老奴事郎君不了，請歸地下事先帝！”代宗好言慰勉他回宅第，不久，指使刺客將他殺死。
代宗用間其首領的方法，很快地除掉李輔國，但又使程元振執掌禁軍。程元振官至驃騎大將軍、右監門衛大將軍、內侍監、豳國公，其威權不比李輔國差，專橫反而超過李輔國。程元振不但刻意陷害有功的大臣將領，而且隱瞞吐蕃入侵的軍情，致使代宗狼狽出逃至陝南商州。一時間，程元振成為“中外鹹切齒而莫敢發言”的罪魁。因禁軍在程元振手中，代宗一時也不敢對他下手。就在此時，另一個領兵宦官、觀軍容處置使魚朝恩領兵到來，代宗有了所恃，便借太常博士柳伉彈劾程元振之時，將程元振削奪官爵，放歸田裏，算是除掉程元振的勢力。