因日本戰前曾對大陸進行侵略擴張之故，提起日本的武士乃至武士道，中國人大多略知一二，但其起源，甚至連日本的專業學者也是推測。從語義上講，大約10世紀以後，以作戰為職業的“兵（つわもの）”、保護達官貴人的“侍（さむらい）”、以武力服務官衙的“武士（もののふ）”逐漸合流，成為後來的武士階層。“武士”一詞最早出現在《續日本紀》養老五年（721）正月二十七日條“詔曰文人武士國家之重”，但這裏的“武士”是與文官相對的武官。
日本古代早期的軍事組織詳情不得而知，據說在3世紀到7世紀的古墳時代專門有以武力為大王服務的氏族集團，例如大伴氏、物部氏等，其含義就是隨時跟在大人物後麵、拿著硬家夥的保鏢。6世紀中期，物部氏取代在朝鮮半島用兵失利的大伴氏成為大和國最高武裝力量首腦，其率領的部民主要擔任軍事、刑罰、牢獄等事務，因而“武士”的語源來自於“物部（もののべ）”。想來其戰鬥力也不是很強，否則掌握國家錢袋子的蘇我氏怎麽會輕而易舉地解決了物部氏。
在7世紀中期大化改新後的律令體製下實施模仿唐朝府兵製的軍團製度。當時1／3的21—60歲成人男性服兵役，每個國組成一個1000人的軍團，每年1／4的士兵接受軍事訓練。經過訓練的士兵到京城擔任一年警衛，稱“衛士”，另外還有士兵到九州大宰府擔任三年的海岸警備，稱“防人”。盡管免除稅收、徭役，但需要自己籌措武器、飯費和一部分旅費，負擔沉重。“防人”多出身關東地區，路途遙遠，滯留九州不能回鄉者為數甚多。正如其名字來自唐令一樣，其結果也多如唐朝的邊塞詩，“古來征戰幾人回”？
在8世紀的奈良時代，天皇朝廷經常對東北地區的蝦夷族進行戰爭，征集1萬人以上編成一軍時設置征夷將軍為統帥，三軍以上則設征夷大將軍為統帥，天皇授予象征軍事大權的節刀。最初的征夷大將軍是出身大陸的渡來人阪上田村麻呂，時為800年。盡管對蝦夷戰爭結束後天皇收回其稱號，但後來武家政權時均以此稱號作為權力的象征。