在擊敗隗囂之後，劉秀的下一個目標就是公孫述了。
公孫述，字子陽，扶風茂陵(今陝西鹹陽西)人。漢哀帝時，以父任為郎。後來其父公孫仁擔任河南都尉，他補為清水(今甘肅清水北)縣長。這時公孫仁怕他們的兒子年少不懂事，派門下椽隨他到官。一個多月後，門下椽辭歸，對公孫仁講“述非待教者也”。意謂公孫述不是一個需要別人去教育他的人。果然，其後不久太守認為公孫述能幹，讓他負責五縣的工作。在他的精心治理下，五縣“政事修理，奸盜不發”,郡中人因此都說有鬼神幫助他才能如此明察秋毫。王莽天鳳年間，述為導江卒正(蜀郡太守),居臨鄧(今四川邛崍),治績突出，“複有能名”。
在更始政權建立後，各地豪傑紛紛開始起兵響應，這時有一個叫宗成的南陽人，自稱虎牙將軍，進入漢中；又商縣(今陝西丹鳳)人王岑也舉事於雒縣(今四川廣漢北),自稱定漢將軍，殺王莽庸部(益州)牧宋遵以響應宗成，“眾合數萬人”。公孫述聞聽這個消息後，立即遣使迎接宗成、王岑到成都(今屬四川)。不料宗、王縱兵擄掠橫暴，因此而搞得民怨沸騰。
公孫述對此深惡痛絕，於是召集縣中豪傑說道：“天下同苦新室，思劉氏久矣，故聞漢將軍到，馳迎道路。今百姓無辜而婦子係獲，室屋燒燔，此賊寇，非義兵也。吾欲保郡自守，以待真主。諸卿欲並力者即留，不欲者便去。”大意是講，天下人苦莽思劉，所以聽說漢軍來到，急忙前往迎接；不想如今反讓百姓無辜而橫遭殘暴，這是地道的賊寇，不是人們盼望的義兵；我因此打算保郡自守，以等待真正的君主；諸位願意合作的就請留下，不同意的也悉聽尊便。豪傑們因此都叩頭表示：“願效死!”
於是，公孫述假稱漢使者自東方來，任命自己為輔漢將軍、蜀郡太守兼益州牧，遂選精兵千餘人，討伐宗成等。因公孫述在當地治理有方，民眾大多信服紛紛來投。當快到成都時，討伐軍已發展到數千人；他們發起進攻，大破對手。宗成屬將垣副殺掉宗，舉眾投降。後來，更始派遣柱功侯李寶、益州刺史張忠，將兵萬餘人巡行蜀、漢；公孫述憑持地險眾附，加上心中有自立的想法，便使其弟公孫恢在綿竹(今四川綿竹東南)進擊李寶、張忠，“大破走之”。