然則其緣起安在呢？論門閥製度的話，要算唐朝的柳芳，說得最為明白（見《唐書·柳衝傳》）。據他的說法：則七國以前，封建時代的貴族，在秦漢之世，仍為強家。因為漢高祖起於徒步，用人不論家世，所以終兩漢之世，他們在政治上，不占特別的勢力。然其在社會上，勢力仍在。到魏晉以後，政治上的勢力和社會上的勢力合流，門閥製度，就漸漸固定了。這話是對的。當時政治上扶植門閥製度的，就是所謂九品中正（見第七章）。
至於在社會上，則因漢末大亂，中原衣冠之族，開始播遷。一個世家大族，在本地方，是人人知其為世家大族的，用不著自行表暴。遷徙到別的地方，就不然了。琅邪王氏是世族，別地方的王氏則不然。博陵崔氏是世族，別地方的崔氏則不然。一處地方，新遷來一家姓王的，姓崔的，誰知道他是哪裏的王？哪裏的崔呢？如此，就不得不鄭重聲明，我是琅邪王而非別的王氏；是博陵崔而非別的崔氏了。這是講門閥的所以要重視郡望的原因。
到現在，我們舊式婚姻的簡帖上，還殘留著這個老廢物。這時候，所謂門第的高下，大概是根據於：（一）本來門第的高下。這是相沿的事實，為本地方人所共認，未必有譜牒等物為據。因為古代譜牒，都是史官所記。隨著封建的崩壞，久已散佚無存了。（二）秦、漢以來，世家大族，似乎漸漸的都有譜牒（《隋書》著錄，有家譜，家傳兩門。《世說新語》注，亦多引人家的家譜）。而其事較近，各家族中，有何等人物、事跡，亦多為眾人所能知，所能記，在這時期以內，一個家族中，要多有名位顯著的人，而切忌有叛逆等大惡的事。如此，曆時稍久，即能受人承認，為其地之世家（曆時不久的，雖有名位顯著的人，人家還隻認為暴發戶，不大看得起他。至於曆時究要多久，那自然沒有明確的界限）。（三）譜牒切忌佚亡，事跡切忌湮沒。倘使譜牒已亡；可以做世家的條件的事跡，又無人能記憶；或雖能記憶，而不能證明其出於我之家族中。換言之，即不能證明我為某世家大族或有名位之人之後；我的世族的資格，就要發生動搖了。要之，不要證據的事，要沒人懷[0]；要有證據的事，則人證物證，至少要有一件存在；這是當時判定世族資格的條件。譜牒等物，全由私家掌管，自然不免有散佚，偽造等事。政治總是跟著社會走的。為要維持此等門閥製度，官家就亦設立譜局，與私家的譜牒互相鉤考；“有司選舉，必稽譜籍而考其真偽”了（亦柳芳語）。