到1650年（永曆四年、順治七年）下半年，忠貞營在永曆朝廷控製區內已經很難立足，被迫先後轉移。劉國昌部在遭到廣東、廣西軍閥的襲擊後，同忠貞營主將失去聯係，長期在廣東北部陽山、英德、乳源一帶抗清。魯可藻記載，這年九月，“馬吉翔、馬寶、陳邦傅、馬應龍等於四會討伐劉國昌，敗之。降其三分之一，國昌遁去，後仍在連（州）、陽山間”[117]。《英德縣誌》載：“順治九年壬辰，賊首吳接蹤等踞巢鯉魚塘，焚劫鄉村，韶、英合兵進剿，斬獲不計。爾時複有劉國昌綽號白毛氈擁眾數萬**屬地，四營群寇大王飛等綽號紅頭賊亦不下萬人盤踞浛界，不時剽劫。官兵進剿，六月破四營於流寨，七月敗國昌於蕉岡，追至乳源又大破之，西鄉一隅頗得安息，迨十一年甲午、十二年乙未又有紅頭賊、白頭賊屯劄於紅群塘、白水磜等處，日則伏山衝搶，夜則持梯破圍，其害較之哨滿等不少減焉。”[118]順治八年十一月清廣東巡撫李棲鳳揭帖中說到這年七月間“逆寇白毛氈即偽淮侯劉國昌”駐營於距乳源縣七十餘裏的龍溪，“勢欲侵犯乳地”，清南雄、韶州駐軍先發製人，趁夜翻山度嶺進攻龍溪，劉國昌部被擊敗，陣亡數百名，包括劉國昌的妻子在內約一千餘名家屬被俘，劉國昌率殘兵退入長溪山內憑險拒敵[119]。這些材料都說明在順治七年清軍攻占廣州、桂林以後，永曆朝廷形同瓦解，大將陳邦傅、杜永和等先後降清，方以智、魯可藻、錢秉鐙、王夫之等人轉入清方統治區以遺民自命，而被他們誣陷打擊的劉國昌部卻一直在粵北山區堅持鬥爭，其條件之艱苦可想而知。關於劉國昌部還有兩點值得說一下，一是所謂“綽號白毛氈”的問題，王夫之記1649年（永曆三年）忠貞營撤入廣西後，“劉希堯、劉芳亮與（李）赤心不協，率其軍自梧州而北，轉掠賀縣、廣寧、四會至宜章，所至剽殺，粵、楚間人尤苦之，呼為白毛氈賊，通粵將楊大甫，欲叛降□（虜）。朝廷執大甫誅之，希堯、芳亮恇懾失據，而彭嵩年、向文明屯郴南，阻其北降路，日漸潰散。清兵遂至，不及納款，遂皆敗死”[120]。蒙正發記：“製撫堵胤錫同忠貞營由茶陵、攸縣、安仁、永興以至江華、永明一帶山懸僻穀中，直達廣東之星子、連州，所過殺擄，白骨滿山野，民呼為白毛氈。”[121]可見，白毛氈並不是劉國昌的綽號，而是大順軍餘部的共稱，其原因是將士頭戴白氈帽，民間遂以此呼之。蒙正發出於政治偏見，誣蔑為殺人白骨蔽野致有“白毛氈”之名。王夫之在永曆朝廷中僅任行人司行人，地位極低，當其處境困難時，鄖國公高一功曾伸出援助之手，但他同瞿式耜之流一樣心存畛域，拒絕與忠貞營將士往來，因此，盡管他在所著《永曆實錄》中為高必正、李赤心、李來亨等人做了傳記，卻往往根據傳聞，人名和情節常有錯誤[122]。