兩年之間，德宗殺了兩位宰相。新帝初政的相對平靜，終於煙消雲散。
元載的覆敗是代宗末年的事。
說來有趣，元載、劉晏和另一位有名的人物李泌都好道術，但由此而形成的人生旨趣卻大相徑庭。劉晏取其儉樸寡欲，李泌得其無為而為，而元載卻把道家的及時行樂、得意狂放奉為座右銘。
元載有大功可恃，是他幫助代宗皇帝誅滅了驕橫的宦官魚朝恩。不過，他也過分地居功自傲了，在代宗後期，元載的狂妄僭越達到了極點。
大曆十二年（公元777年）三月二十八日，任左金吾大將軍的國舅吳湊受命包圍了宰相辦公地政事堂，拘留了元載和另一元黨首領王縉。代宗並命劉晏負責審訊。麵對這一棘手的事情，劉晏受命時也是很猶豫的，但他對國家的忠誠使得他無法推托。為了顯示公正，劉晏還特別建議皇帝委任其他官員共同參與此案的審理。
元載被帶到設在中書後堂的合審處，一見到劉晏就說：
“你也來審我？”
道不同不相為謀，劉晏一句話也沒說。
其實劉晏並沒有榮幸為元載定罪，原因是審理元案並沒有因元氏不得人心而顯得更加公正，一切都按政治上的需要進行。消滅元黨既是上下一致的要求，那麽過程就不是主要的了，關鍵是結果是否符合預期的目標。審訊推問都是由皇帝的近侍們完成的，也隻有他們知道皇上需要些什麽，不需要些什麽。在這種情況下，元載、王縉自然是供認不諱，俯首稱罪，最後元載與另一首惡宦官董秀被處以極刑。照理王縉也難逃厄運，這時候劉晏顯示出他嚴謹的法製觀念，認為罪有首從之分，元載既誅，不宜二人同罪。參審大員們都十分尊重這一意見，結果王縉得到了從寬的處理。另一位元黨的中堅分子楊炎由於其一貫的聲譽得到了保全，隻是貶為道州司馬。