漢末選官遇到的第三個嚴重問題，可以稱之為“以族取人”。仲長統《昌言》:“天下有三俗，選士而論族姓閥閱，一俗。”大小衣冠世家憑借家族地位權勢，優先占有各級官職，也嚴重破壞著察舉征辟的實施。
漢代的大族，有一部分是“身無半通青綸之命，而竊三辰龍章之服；不為編戶一伍之長，而有千室名邑之役”的鄉曲豪右，他們僅僅憑經濟力量擴展宗族於閭裏；在朝廷上，則發展出一種衣冠世家。《漢書·杜欽傳》顏師古注：“衣冠謂士大夫也。”又同書《食貨誌》注：“世家，謂世世有祿秩家也。”他們依附於皇權而強盛，以政治權力攫取財富與聲望。如西漢之金、張、許、史，便是著名的世家。儒生知識分子，對子弟依父祖權位居官享祿的現象，是持否定態度的，因為這就意味著對知識才行的排斥，而與知識群體賴以存身的價值標準和行為規則相悖。《潛夫論·論榮》:“人之善惡，不必世族。”"仁重而勢輕，位蔑而義榮，今之論者，多此之反，而又以九族，或以所來，則亦遠於獲真賢矣!”對於有濃厚特權傾向的任子製，儒生也曾給予了嚴厲抨擊。
但東漢以來的一個重要社會變動是，許多衣冠世家日益表現出鮮明的文化色彩，官位、族姓與文化日益緊密地結合起來，以致出現了汝南袁氏、弘農楊氏一類世代公卿、世代傳經又世出名士的家族。對於這種家族，在具有權威性的士林輿論之中，不但不被視為異己，反而得到了崇高讚揚。例如弘農楊氏，孔融稱讚其“四世清德，海內所瞻”,張超稱讚其“我漢楊氏，代作棟梁”(分見《後漢書·楊修傳》及《藝文類聚》卷四五)。因為楊氏一門經術傳世，忠烈成風，這一族雖然世居高位，海內士林卻認為是官得其人。
《潛夫論·論榮》:“今觀俗士之論也，以族舉德，以位命賢，茲可謂得論之一體矣，而未獲至論之淑真也。”我們看到，王符並未完全否定“以族舉德”,他隻是認為這還不夠全麵而已，僅僅“得論之一體”。事實上，名士為人推重，屢出名士之族自然也將為人推重。如荀淑有子八人，“並有名稱，時人謂之八龍”;賈彪兄弟三人“並有高名”,人稱“賈氏三虎”;許劭、許虔並稱“二龍”;陳定、陳紀、陳諶父子三人，“並著高名，時號三君”。這些名士家族負海內士林之盛譽，公府州郡禮命不絕。這意味著“士”與“族”的結合，或說知識分子官僚與家族關係的結合，可能形成一種在發展中最少受阻，並在選官中得到最大優遇的政治勢力。專製皇權和官僚體製尚無能力克服這一勢力，而另一政治力量——知識群體，卻對之給予認可而不加抵製。