1968年，任正非大學畢業後在一家建築工程單位任工程師。1974年任正非應征入伍，成為基建工程兵。
任正非之所以選擇當兵，是因他認為“那時當兵比作為普通老百姓的機會多一些，就積極想去當兵，覺得當兵是一種光榮”。
任正非所在的部隊是成立於1966年的基建工程兵部隊，也是解放軍體係中新成長起來的一個新兵種。周恩來總理曾勉勵這個嶄新的兵種：“能工能戰，能文能武，以工為主。”
任正非入伍後很快就參與了一項大規模的軍事工程建設任務，這項工程的代號叫作“011”。
任正非入伍後不久，正值西南地區的戰略地位凸顯，國家領導人意識到在西南地區興建一座大型兵工廠來增強新時期的國防實力刻不容緩，因此組織決定從基建工程兵部隊中挑選一批精兵強將去完成這項艱巨而光榮的任務。
能參加這次任務，任正非感到非常高興。因為，這項任務是要在貴州安順地區興建軍用飛機和航空發動機製造廠，這裏是他的家鄉，他有機會請假回家看望父母和弟弟妹妹們。
後來，部隊派有文化、又懂一點技術的任正非參與遼陽化纖總廠工程的建設任務。
2001年2月，任正非在《華為人》報上公開講述了自己這段艱苦的軍旅經曆。
當時中央希望要讓中國每個人每年都能穿上一套新衣服，就從法國引進了世界最先進的化纖設備，興建了一個大型的化纖廠。這個化纖廠在遼陽太子河邊上，生活條件非常艱苦。
部隊進入施工現場時，數十平方公裏的現場，沒有一間房屋，部隊全部都睡在草地上，當時是七八月份。後來工廠撥款建了大批的土坯房，漏風、漏水。那段時間我的體會：一是，接觸了世界最先進的技術；二是，吃著世界上最大的苦。當時法國生產的化纖設備，自動控製水平非常高，至少當時全中國還沒有這麽先進的工廠，這是我第一次知道了什麽叫世界先進技術，還學會了吃苦。我們住的這種土坯房，既不抗凍，也不防風，最低溫度可以達到零下28攝氏度。當時中國處於極度困難時期，肉和油的供應極少，主要食物是很難吃的雜交高粱。我們一邊學習最先進的技術，一邊過著最原始的生活，這就是那段時間的經曆，用一個詞總結，就是“冰火兩重天”。但那段時間，我過得很快樂。那時在其他地方讀書太多是要受批判的，唯有在這個工廠還可以看書，因為不學習就搞不懂這些現代化設備。