太平天國被鎮壓以後，撚軍也軍心大失，處於瓦解狀態。借此時機，清政府派僧格林沁和官文一路追殺，終於把撚軍的主力部隊殲滅，而剩下的兩小股勢力在賴文光的帶領下來到湖北、河南等地，仍四處活動，攪得清政府日夜不安。
賴文光文武兼備，他在極其困難的條件下，仍組織了一些力量，並吸納了兵敗後的一些太平軍將領。顯然，這樣撚軍的隊伍就壯大了，而且他們發誓要為恢複太平天國而戰。改編後的撚軍不斷和清軍作戰，並從清兵處獲取了大量的裝備及物資。久而久之，他們練就了一支精銳的騎兵部隊，而且這支部隊比太平軍更勝一籌。他們在戰略上也不同於太平軍，是以大規模運動戰打擊清軍；他們的作戰靈活機動，以精銳騎兵襲擊清兵；他們作戰時急如狂飆般將清兵包圍，往往清兵還沒想好如何應戰就被打死。無疑，這樣的一支撚軍自然會攪得清政府頭昏腦漲。
當年太平天國起義時，這支撚軍也曾在中原起義響應太平軍，但被蒙古親王僧格林沁率兵鎮壓。後來陳玉成犧牲後，僧格林沁便趁機發動進攻，圍剿了撚軍在安徽的根據地，並將當時撚軍的領袖張洛行殺害，其他的撚軍也大部分被殺死，隻有少數逃亡。僧格林沁以剿撚有功，被清政府提升為親王，並多次被授獎。僧格林沁率領的蒙古騎兵受到了清政府的重用，也是清政府用來對付湘軍的唯一一支武裝力量，因為八旗及綠營兵均被太平軍摧毀。僧格林沁原本就心高氣傲，加上清政府對他的重視，所以他從心底瞧不起湘軍和後來興起的淮軍。在共同對付太平天國的軍隊時，他就經常欺壓湘軍，背地裏向清政府狀告湘軍將領。而實際上，大多明明是他的錯，他卻推在湘軍身上，而曾國藩明知這些事情，但也無能為力，因為清政府看重的是僧格林沁而不是身為漢人的他，所以他隻能一忍再忍。當湘軍拿下天京時，清政府之所以向湘軍施加壓力，也是因為有僧格林沁這支部隊作為依靠。