漢字大概在東漢末年前後大量引入日本。日本人用漢字有兩種形式：用漢字的字形和讀音來記寫日語中的同音、近音詞語，叫“音讀”；借漢字的字形和字義記寫日語同義、近義詞，棄漢語詞的音而讀日語詞的音，這叫“訓讀”。
使用漢字之外，日本也用自己的字母係統——平假名和片假名。成書於759年以後的《萬葉集》，大量使用從漢字中借用的符號（單字）記寫日語字音。這種符號被稱為“萬葉假名”。平假名是萬葉假名的草書簡化版，形成於8世紀末。平假名的“平”是通俗平易的意思。它最初在女性間流行，稱為“女手”，而漢字叫“男手”。片假名大約形成於10世紀，平安時期中葉。當時讀書人用萬葉假名（單字）給漢字注音，有時為了方便，隻取頭尾的筆畫，後來漸成係統——片假名的“片”意思是不完整。
現代日本也興起過語文現代化運動，有廢止漢字、限製漢字、用假名、用羅馬字母等多種主張。1866年（明治維新前一年），前島密（日本郵政創始人）向最後一任德川幕府將軍德川慶喜提出《廢止漢字的意見》。1872年，南部義籌向文部省提出改用羅馬字母拚寫。1873年，福澤諭吉（慶應大學創始人）、矢野文雄等主張限製漢字的字數在3000字以內，成立有“假名文字協會”“羅馬字會”等組織。
在1923年《國語月刊》漢字改革號上，遇公的《日本人和漢字改革》一文介紹了幾則日本國語羅馬字宣傳標語：
1．輕減兒童的腦稅啊！
2．先改革教育的武器啊！
3．無限的漢字，是無限的字獄啊！
4．漢字，是兒童的斷頭台。
5．漢字造成庸碌的兒童！
6．世界的日本，該用世界的文字，
7．二十六字母，通於全世界。
這些跟錢玄同、魯迅、瞿秋白等人當時的話很像。當然日本也有力挺漢字的，比如三島毅，他創立了二鬆學舍。這種新潮為主、新舊拉鋸的局麵跟中國近代是相似的。