從來為地方人民之患者，莫如豪右及遊俠，而二者又恒相結。晉南北朝，為綱紀廢弛之世，故此二者，為患尤甚焉。豪族有由於閥閱者，如《晉書·劉頌傳》，言其為漢廣陵厲王之後，世為名族，同郡有雷、蔣、穀、魯四姓，皆出其下，時人為之語曰：“雷、蔣、穀、魯，劉最為祖”是也。
有由於多財者，如《忠義傳》言：麹允金城人，與遊氏世為豪族，西州為之語曰：“麹與遊，牛羊不數頭，南開朱門，北望青樓。”是也。又有恃當路之權勢者，如《梁書·謝朏傳》言：朏弟子覽，出為吳興大守；中書舍人黃睦之，家居烏程，子弟專橫，前大守皆折節事之是也。
《宋書·謝方明傳》言：江東民戶殷盛，風俗峻刻，強弱相陵。而《蔡興宗傳》言：會稽多諸豪右，不遵王憲；又幸臣近習，參半宮省，封略山湖，妨民害治，王公、妃、主，邸舍相望，撓亂在所，大為民患。子息滋長，督責無窮。
《梁書·良吏·沈瑀傳》言：餘姚大姓虞氏千餘家，請謁如市，前後令長莫能絕。縣南又有豪族數百家，子弟縱橫，遞相芘蔭，厚自封殖，百姓甚患之。則數者兼有之矣。
當時豪族，有從事劫掠與盜賊無異者，如《南史·沈慶之傳》言：諸沈為劫首者數十，人士患之，慶之詭為置酒，一時殺之，於是合境肅清，人皆喜悅。《魏書·李安世傳》言：廣平人李波，宗族強盛，殘掠生民。刺史相州。薛道（左扌右剽）親往討之，波率其宗族拒戰，大破（左扌右剽）軍。遂為逋逃之藪，公私成患。百姓為之語曰：“李波小妹字雍容，褰裙逐馬如卷蓬，左射右射必疊雙。婦女尚如此，男子那可逢？”則豪右、遊俠，二者殆不可分矣。貴人子亦有為劫者：《晉書·戴淵傳》言：淵少好遊俠，不拘操行，遇陸機赴洛，船裝甚盛，遂與其徒掠之。《北齊書·畢義雲傳》言：義雲少粗俠，家在兗州北境，常劫掠行旅，州裏患之。《北史·畢眾敬傳》言：眾敬少好弓馬射獵，交結輕果，常於疆境盜掠為業。此尚其小焉者。