待小人，不難於嚴，而難於不惡；待君子，不難於恭，而難於有禮。
對待心術不正的小人，要做到對他們嚴厲苛刻並不難，難的是不去憎惡他們；對待品德高尚的君子，要做到對他們恭敬並不難，難的是遵循適當的禮節。
楊炎與盧杞在唐德宗時一度同任宰相，盧杞的爺爺是唐玄宗時的宰相盧懷慎，以忠正廉潔而著稱，從不以權謀私，清廉方正，是位頗受時人敬重的賢相。他的父親盧奕也是一位忠烈之士。盧杞在平日裏不注意衣著吃用，穿的很樸素，吃的也不講究，人們都以為他有祖風，沒有人知道盧杞則是一個善於揣摩上意、很有心計、貌似忠厚、除了巧言善辯別無所長的小人。
與盧杞同為宰相的楊炎，是中國曆史上著名的理財能手，他提出的“兩稅法”對緩解當時中央政府的財政危機立下了汗馬功勞。後來的史學家評論他說：“後來言財利者，皆莫能及之。”可見楊炎確實是個幹練之才，受時人的尊重和推崇。此外，楊炎與盧杞在外表上也有很大不同，楊炎是個美髯公，儀表堂堂，盧杞臉上卻有大片的藍色痣斑，相貌奇醜，形象瑣屑。
然而，博學多聞，精通時政，具有卓越政治才能的楊炎，雖然有宰相之能，性格卻過於剛直。特別是對盧杞這樣的小人，他壓根兒就沒放在眼裏。兩人同處一朝，共事一主，但楊炎幾乎不與盧杞有絲毫往來。按當時製度，宰相們一同在政事堂辦公，一同吃飯，楊炎因為不願與盧杞同桌而食，便經常找個借口在別處單獨吃飯，有人趁機對盧杞挑撥說：“楊大人看不起你，不願跟你在一起吃飯。”
因相貌醜陋內心自卑的盧杞自然懷恨在心，便先找楊炎手下親信官員的過錯，並上奏皇帝。楊炎因而憤憤不平，專門找盧杞質問道：“我的手下人有什麽過錯，自有我來處理，如果我不處理，可以一起商量，你為什麽瞞著我暗中向皇上打小報告！”弄得盧杞很下不來台。於是，兩個人的隔閡越來越深，常常是你提出一條什麽建議，明明是對的我也要反對；你要推薦那個人，我就推薦另一些人，總是較著勁、對著幹。