應劭撰《風俗通義》，開篇直言：“為政之要，辨風正俗，最其上也。”樓鑰《論風俗紀綱》也有名言說：“國家元氣，全在風俗；風俗之本，實係綱紀。”這是儒家的主流觀點，而良善風俗難建而易毀，毀壞力量毋庸置疑地來自卑鄙小人。
儒者普遍相信：無德無能的小人對社會並不會造成太大的危害，真正應該加以提防的是那些才能出眾的小人。一個很有代表性的例子是，唐穆宗長慶元年，宿州刺史李直臣在因貪贓罪當處死刑時賄賂宦官為自己說情，時任禦史中丞的牛僧孺頂住壓力，不予改判。唐穆宗當麵對牛僧孺說：“李直臣雖有過失，但在經濟管理方麵是難得的人才，朕打算寬恕他的罪行，派他到邊疆任職。”牛僧孺答道：“凡是沒有才能的官員，隻不過屍位素餐，取悅上級而已，沒有多大的危害。帝王立法，正是為了束縛有才幹的奸人。安祿山和朱泚難道不是人才嗎，所以一朝叛亂而天下動**。況且李直臣小才而已，怎能因他而不顧法令呢？”（《舊唐書·牛僧孺傳》）
後人於才德之辨，基本沿襲牛僧孺的意見。《通鑒》記述三家分晉的曆史，司馬光有一段充滿道德色彩的議論也很值得參考，其大意有五：
（1）智伯之所以敗亡，是才勝過德的緣故。
（2）世俗往往對才與德不加分辨，一概謂之為賢，正是這樣的認識釀成了許多禍患。
（3）才與德的關係，應當以德為統率，德為才的應用指引方向並加以約束。
（4）德勝才謂之君子，才勝德謂之小人。凡用人之道，如果得不到聖人和君子，那麽與其用小人，不如用愚人。因為愚人就算想作惡，畢竟缺乏作惡的能力，小人卻有十足的能力為非作歹。
（5）從人情上講，人們畏懼有德的人而喜愛有才的人，所以會疏遠前者而親近後者。（《通鑒》卷一）