益州的局勢在一天天惡化。
前來投奔的李庠有勇有謀，親和力比較強，深得大家擁戴，但威信高了有時候也不是一件好事，他越來越受趙廞猜忌了。趙廞的長史杜淑和司馬張粲看出了趙廞的心思，勸他道：“將軍起兵不久，各項工作都還沒有走上正軌，這個時候您卻派李庠在外掌握重兵。有句話叫‘非我族類其心必異’，如果他有一天倒轉槍頭攻擊我們，後果將不堪設想，應當找機會把他解決掉才是上策。”趙廞同意了。
機會很快就來了。李庠拍馬屁，勸說趙廞進一步稱帝，誰知道這一下拍到了馬腿上。趙廞當即宣布：“李庠大逆不道，論罪當誅！”不由分說便命人把李庠與他的兒子侄子等十來個人推出去斬首。當時李庠的哥哥李特、弟弟李流都帶兵在城外駐紮，趙廞派人去安撫他們道：“是李庠自己犯了死罪，跟你們兄弟無關。”之後繼續讓李特、李流做將軍。李特和李流不是傻子，自然不相信趙廞所說，但他們寄人籬下，遇到這樣的事也是敢怒不敢言，隻得暗自咽下苦水，帶兵回到了綿竹。
趙廞的牙門將許弇（yǎn）請求擔任巴東（今重慶奉節縣）監軍，杜淑和張粲站出來反對，許弇再三請求，但他們態度堅決。許弇是個暴脾氣，拔刀手刃了杜淑和張粲，杜、張的左右隨從一擁而上，又殺死了許弇。一天時間內失去三位心腹的趙廞，從此走上了下坡路。
趙廞派新任的長史費遠、蜀郡太守李苾、督護常俊率領一萬士兵，駐紮在綿竹的石亭，防備李特兄弟北上。李特回到綿竹後，立誓要為弟弟報仇。他秘密聚集七千多兵士，趁夜色掩護，采用火攻之計襲擊費遠的軍隊，費遠軍隊中被燒死的十有八九。李特乘勝向成都挺近，費遠等人一看大勢已去，趁夜開城逃跑，趙廞手下的文武百官也如鳥獸散。趙廞和妻子兒女登船沿水路逃跑，半路就被手下殺死了。李特率兵進入成都，放縱士兵搶掠，後派使者去洛陽覲見，陳述趙廞的種種罪行，說明趙廞之死是罪有應得。