當初，張魯(1)稱霸漢中郡（今陝西漢中市）時，賨（cóng）人(2)中的李姓部落從巴西郡（今四川閬中市）的宕渠縣（今四川渠縣三匯鎮）前去投靠張魯。東漢建安二十年（215）七月，曹操攻克了漢中，部落首領李武帶領五百多家歸降，曹操授予他將軍之職，把這群人遷到略陽郡（今甘肅天水市）以北地區，北方一帶的百姓都稱他們為巴氐。
李武的兒子李慕曾經擔任過東羌獵將，李慕的兒子李特、李庠、李流也都健壯威武，有謀略，善於騎馬射箭，為人豪爽，仗義疏財，在鄉裏具有很高的威望，人們紛紛歸附。特別是李特，他身高八尺（約一米九三），對事物有獨特見解，為人很是沉穩。
等到元康六年（296）齊萬年造反的時候，關中恰逢連年大荒，略陽郡、天水郡等六個郡的老百姓紛紛外出尋找糧食，逃荒到漢川（今陝西省南部）的就有數萬家，李家兄弟也在其中。逃荒路上見到生病和窮苦的人，他們經常伸出援手，因此深得大家擁戴。這批人到了漢中郡，集體上書，請求朝廷允許他們前往巴蜀（今四川中東部和重慶大部）謀生，但朝廷沒有批準，而是派侍禦史李苾（bì）持節前去慰勞，並監視他們，不讓他們進入劍閣（今四川劍閣縣北劍門關）。
李苾為人貪財，見利忘義，流民了解他這個特點後，就湊錢賄賂他。李苾受賄後果然向朝廷上書說：“流民有十多萬人，不是漢中一個郡能夠養活的。如果叫他們往東去荊州，路上水流湍急且危險，又沒有船隻可用。巴蜀地區有倉庫儲備，又是豐收之年，可以讓流民去那裏謀食。”朝廷批準了李苾的提議。
從此，流民散布於梁州（今四川東北部及陝西南部）、益州（今四川中南部及雲南）各地，政府無力管理他們。李特到劍閣時，看到兩旁斷崖峭壁直入雲霄，峰巒倚天似劍，絕崖斷離，兩壁相對而立，真是“一夫當關，萬夫莫開”，不由得長歎道：“劉禪擁有這樣的地方，竟然投降了別人，還說不是庸才嗎？！”能說出這話，可見其胸懷很不一般。他在日後也確實做出了大事。