韋彪的這番議論實有先例可循。漢成帝時，頻陽縣夾在數郡之間，多有盜賊，縣令薛恭以孝行聞名，但治民經驗淺，難以勝任。粟邑是個山中小縣，民風樸實，縣令尹賞出身於郡府吏員。上級長官薛宣安排兩位縣令調換轄區，僅僅數月之後，兩縣治績都很好。薛宣以孔子論孟公綽之語寄之，說君子晉身之道不盡相同，有人以德行顯達，有人以事功升遷。（《漢書·薛宣傳》）薛宣的做法更為通達，使德有德的位置，才有才的位置，各展所長；韋彪卻更顯得崇德而抑才，以醇儒的標準來看，韋彪的意見才意味著真正的君子之治或賢人政治。
如果我們將社會穩定視為第一考慮的話，就很容易理解那些古人——尤其是具有儒家傾向的古人——對於才幹的忌憚心理。一般而言，有才的人聰慧甚至狡黠，做事愛走捷徑，心思活絡，不安分，愛生事，對才華的不能盡展總會心生怨懟，這樣的人非常不易安置，稍不小心就會變成擾亂性的因素。至於有德之人，無論有才無才都不會危害社會，都會給社會帶來正麵的道德影響，而施加正麵的道德影響恰恰就是為政的根本大計。道德厚則風俗淳，風俗淳則社會穩，理想的政治其實就是這麽一個簡單的邏輯。
何謂風俗，《漢書·地理誌》有釋義說：
凡民函五常之性，而其剛柔緩急，音聲不同，係水土之風氣，故謂之風；好惡取舍，動靜亡常，隨君上之情欲，故謂之俗。孔子曰：“移風易俗，莫善於樂。”言聖王在上，統理人倫，必移其木，而易其末，此混同天下一之乎中和，然後王教成也。
這個解釋在今天看來很有反人民的傾向，認為庶民百姓的好惡取舍沒有一定之規，隻會不自覺地向上流社會跟風。但也恰恰因為風俗的這一性質，英明的統治者才可以自上而下很方便地移風易俗。