婁師德與狄仁傑同為武則天當權時的宰相，但兩人性格迥異。狄仁傑疾惡如仇愛恨分明，婁師德則唯唯諾諾不思進取。其時酷吏當道，狄仁傑幾度受到迫害，浮沉數次，婁師德卻始終穩坐宰相寶座，曆經數載而不倒。
這與婁師德的處世法則有很大關係。他自責、努力、與人為善，可他最大的特點卻是習慣於逆來順受，就算有人當麵向他吐口水，為了不激怒對方，婁世德絕對不會擦。世人都認為婁師德是個沒骨氣的人，故步自封小心翼翼，朝中有氣節之人，如陳子昂、狄仁傑等人都不屑與之為伍，但是，武則天卻異常喜愛婁師德，這引起了朝中大臣的不滿。其中，與婁師德同為宰相的狄仁傑意見最大。
有一天，狄仁傑向武則天上疏，要求將自己與婁師德的辦公地點分開，因為這個婁師德為人確實寬厚，但性格懦弱，身居要職卻不思進取，狄仁傑的潛台詞其實就是要武則天把婁師德的宰相職位給撤了。
武則天明白狄仁傑的意思，她問：“宰相之職不可隨意更換，我想問愛卿，師德是賢人嗎？”
狄仁傑想了想，說：“師德為將能固守邊陲，多年來抵抗吐蕃入侵，功勞甚大，但從不主動出擊，也誤了不少戰機，忠誠可嘉，但賢能不足。”
武則天搖了搖頭，說：“儀鳳三年，唐軍18萬兵馬大敗於吐蕃，有全軍覆沒之險，是婁師德挺身而出，收集散亡將士，隨後，又出使吐蕃，宣揚休戰求和之意，以此穩住吐蕃，趁機鞏固防線，這才有後來大將黑齒常之在良非川大勝吐蕃軍之輝煌。試問愛卿，師德不逞一時之勇，不以一己之私，甘願背負罵名與異邦議和換來大唐安寧，可是賢人？”
見狄仁傑無言以對，武則天又問：“身為宰相，師德知人善任否？”
狄仁傑搖頭說：“臣與他同朝為官，沒聽說過他知人善任。”