撚軍一稱最早源自皖北一帶的方言“撚子”，指“一股”、“一夥”的意思。即，幾十人、數百人乃至成千上萬人，自發組織起來形成的一股股勢力。不同於土匪的是，他們最早隻是單純的抱團生存而已，。也沒有固定的“巢穴”，平時務農，每有天災生存困難時，便聚在一起或搶劫、或偷盜或者販賣私鹽。不同於太平軍的是，撚軍沒有固定的統一信仰，他們大多信奉類似白蓮教的各種邪教，有的則是信奉隻有當地人才知道的各種奇怪信仰，知名或不知名的妖鬼神魔都有，可能是一股“撚子”的信仰。
一股“撚子”多是由某種教派的當地小頭目，或是在當地有威望有號召力的豪傑挑頭拉起來的，當地有人加入他們這支“撚子”，他的家庭或是村子就能得到庇護，既可以免受土匪騷擾，也可以聯合反對官府橫征暴斂。同時，撚子頭還會調節自己撚子隊伍內部的個人矛盾，以及受自己撚子隊伍保護的村莊內的村民糾紛，或兩個村子之間的矛盾。因此，撚子在當地的威望極高，當地百姓都對其信服不已。因而，越是每逢災年，加入各種撚子勢力的百姓就越多，其影響就越大。
太平天國叛亂爆發後，受太平軍影響，各地勢力比較大一些的撚子隊伍，就開始紛紛效仿太平軍的組織架構，以加強內部管理和勢力擴展。尤其是在太平天國後期，以及太平天國被湘軍打敗後，在兩江地區被湘軍打敗的太平軍殘部，潰逃到皖北、山東、河南一帶後，很快就和當地撚子勾結在了一塊。經過合並改編，各地撚子不但人數、武器裝備均有加強，也越發具有軍隊架構，因而也就導致其“叛軍”的性質越發明顯。
同治二年，豫、皖、魯三地發生的一場大災，導致饑民數百萬無以為生紛紛加入各地“撚子”，並發了暴亂。而後又由於朝廷的鎮壓，各地“撚子”為了與朝廷抗爭，紛紛自發融合起來，很快就形成了幾大撚軍勢力。其中尤以張洛行、苗沛霖、孫葵心、張宗禹、張禹爵、龔得樹、賴文光、任柱、李蘊泰等人控製的撚軍勢力最大。他們每股撚軍人數，至少都是數以五六萬計，多的能達十萬餘眾，北方數省的幾十支大小撚軍加起來，恐怕不下百萬人。