元載既打死了李少良，便有少良的友人韋頌，和殿中侍禦史陸埏二人，叩闕呼冤；都被元載喝令武士擒下，打入死囚牢。
韋、陸二人，一時氣憤填膺，齊撞壁而死。代宗知道了，心中十分懊恨，隻是平日被元載脅製住了，一時不敢翻臉。忽想起浙西觀察史李棲筠，是一個忠義剛直之臣，便暗暗地下手詔，傳棲筠進京來，拜為禦史大夫。棲筠受職後，即察出吏部侍郎徐浩、薛邕，和京兆尹杜濟虛，禮部侍郎於劭四人，俱是元載黨羽，專一欺君罔上．黷貨賣官。棲筠給他一本參革，一齊罷官。
元載深恨棲筠，便與同黨陰謀陷害他。不多幾天，棲筠在家中，竟然無疾而亡。因此外邊許多人謠傳，說李棲筠是被元載買囑他貼身人，用藥毒死的。代宗皇帝雖也十分悲傷懷疑，隻是元載在朝中的黨羽甚多，一時又拿不到他的真憑實據，便也隻得忍耐在心中。但元載見李棲筠去世，越是肆無忌憚，進事驕橫。代宗因此心中憂隨，終日愁眉不展。
這一天，左金吾大將軍吳溱入宮來，朝見代宗；見萬歲爺麵有憂色，覷著左右無人，便低聲奏道：“如今心腹大患，是在元載一人。陛下是否因此人勞心？”
代宗長歎一聲說道：“朝事荒墮，全是朕一人之過；元載之敢於大膽妄為，亦朕平日縱任所致。今欲除之，亦已難矣！”
原來這位吳大將軍，是章敬皇後的胞弟，與代宗有甥舅之親；平日忠心為國，君臣素稱相得。今吳將軍一句話打動了萬歲爺的心事，當時君臣二人在宮中秘密計議，直到更深，才退出宮來。
第二天，吳將軍在家中悄悄地召集吏部尚書劉晏，禦史大夫李涵，散騎常侍蕭昕，禮部侍郎常兗，可憐這時朝官號稱正直的大臣，隻有這五六人了！吳將軍受了代宗皇帝的密意，與這五六個忠義大臣，在府中南書齋裏商議國家大事。正說話時候，忽見一個壯士，直闖進屋中來；眾人大驚，十幾道眼光，一齊注定在那壯士身上。見那壯士黑紗罩住臉麵，直立在當門，一言不發。吳將軍按著劍，大聲喝問：“何人？”