對中國人來說，日軍的形象可謂人人皆知，因為抗日戰爭的電影看多了，但究竟在多大程度上了解近代日本軍隊，就不得而知了。士兵是士兵，軍人是軍人，先談士兵。
在傳統社會的日本，武士是職業軍人，但明治維新後，士、農、工、商四民平等，征兵製應運而生。服兵役成為全體國民的義務，而且可以以較少的費用維持龐大的軍隊，最初在19世紀中期由普魯士、法國等實施，但日本的引進過程頗費周折。明治政府成立時沒有直接的軍隊，皇族成員擔任的軍事總裁通過大名指揮各藩之兵，而且相互之間存在較大差異，因為模仿的對象不同。長州藩出身並擔任國防副部長（兵部大輔）的大村益次郎為建設國家軍隊東奔西跑，其設想是按照法國樣式各藩建立常備兵力，駐紮在兵營中，設立培養陸海軍官的學校、兵工廠、軍隊醫院等。其改革設想引起士族的不滿，大村在視察大阪基地時遭到襲擊身亡。作為近代軍隊的創始人，大村的銅像至今豎立在靖國神社前的廣場上。
接下來推進軍事改革的是國防部副部長助理（兵部少輔）山縣有朋，其設想是建立常備兵和預備兵，前者分布在6個軍區。由於遭到各藩的反對，政府隻好依靠薩摩、長州、土佐3藩提供的6300名士兵組成近衛軍——直屬天皇的親兵，並在此基礎上大膽地實施了“廢藩置縣”，將各藩的兵力收編到中央政府。1872年，廢除兵部省，設陸軍省和海軍省，同年以天皇名義頒布《征兵告諭》，1873年正式頒布《征兵令》。在全日本設置東京、仙台、名古屋、大阪、廣島和熊本等6個鎮台駐紮兵力，同年又頒布了《槍支禁止規則》以及《廢刀令》，徹底解除了士族的武裝。同時，陸軍模仿的對象也從法國轉為普魯士，盡管在職業軍官統率下的征兵製兩國相同，但普法戰爭之前法國帶有濃厚的雇傭兵色彩，普魯士更接近義務兵役製度，特別是普魯士在戰爭中獲勝，因而成為日本陸軍的榜樣，甚至陸軍大學最初的教員也是德國人，結果陸軍也具有較強的政治性，即經常幹預政府事務。順便提及的是，日本海軍自始至終模仿的是英國，與政治的關係也比較薄弱。