王莽改製失敗，人民生活更加痛苦。加以水災、旱災、蝗災接二連三地出現，農民們實在活不下去，除了自己起來推翻暴政，再沒有別的出路。
17年，湖北西部一帶大旱，饑餓的農民們在新市（今湖北省京山市）人王匡、王鳳的領導下發動起義。王匡、王鳳起義後，聞風前來投奔的人很多，幾個月光景，起義軍就壯大到七八千人。他們駐紮在綠林山（今湖北省當陽市）上，人們把他們稱為“綠林軍”。21年，王莽的荊州牧（官名）率兵兩萬人前來攻打綠林軍，結果被打得大敗而逃。綠林軍乘勝攻下了幾個縣城，把隊伍擴充到了五萬多人。
第二年春天，綠林山裏發生了瘟疫，農民軍病死的很多。他們決定分散活動，由王常、成丹領一支人馬，攻占南郡，號稱“下江兵”。由王匡、王鳳領一支人馬開往南陽，號稱“新市兵”。不久，平林（今湖北省隨州市東北）人陳牧、廖湛等人，也聚合一千多人起來響應，這支人馬被叫作“平林兵”（後與新市兵合）。
18年，琅琊（郡名，今山東省東南部）人樊崇在山東莒（jǔ）縣起義，帶領數百人占領了泰山。不到一年，他的部眾就發展到一萬多人。接著，逄（páng）安、謝祿等人都領起義隊伍前來投奔。於是，他們以泰山為中心，在山東一帶展開活動。22年，王莽派太師王匡（與綠林軍首領王匡同姓名）、更始將軍廉丹率十萬大軍前來鎮壓。樊崇率領農民軍迎戰，為了在戰鬥中便於與敵軍區別，大夥都把眉毛塗成紅色，作為起義軍的記號。從此，“赤眉軍”的名號便傳開了。在這次大戰中，赤眉軍個個奮勇當先，把官兵打得大敗，王匡溜走，廉丹戰死。赤眉軍戰勝後，人數大增，勢力迅速發展到黃河中遊一帶。
正當農民起義軍轟轟烈烈發展的時候，許多地主階級分子也趁機而起，如南陽的漢朝皇族劉演、劉秀兄弟，便在此時混入了綠林軍。