雖然雨果是那麽的自由教養的，他的母親對於他的學業始終很關心，很嚴厲。在出發到意大利之前，他們住在Rue de Clichy，那時孩子每天到Mont Blanc街上的一個小學校去消磨幾小時。隻有四五歲，他到學校去當然不是真正為了讀書，而是和若幹年紀同他相仿的孩子玩耍。雨果在老年時對於這時代的回憶，隻是他每天在老師的女兒，羅思小姐的房裏——有時竟在她的**——消磨一個上午。有一次學校裏演戲用一頂帷幕把課室分隔起來。羅思小姐扮女主角，而他因為年紀最小的原故，扮演戲中的小孩。人家替他穿著一件羊皮短褂，手裏拿著一把鐵鉗。他一點也不懂是怎麽一回事，隻覺得演劇時間冗長乏味，他把鐵鉗輕輕地插到羅思小姐兩腿中間去，以致在劇中最悲愴的一段，台下的觀眾聽見女主角和她的兒子說：“你停止不停止，小壞蛋！”
到十二歲為止，他真正的老師是一個叫作特·拉·裏維埃（Dela Riviere）的神甫。這是一個奇怪好玩的人物，因為大革命推翻了一切，他嚇得把黑袍脫下了還不夠，為證明他從此不複傳道起見，他結了婚，和他一生所熟識的惟一的女子——他以前的女傭結了婚。夫婦之間卻也十分和睦，帝政時代，他倆在St. Jacques路設了一所小學校，學生大半是工人階級的子弟，學校裏一切都像舊式的私塾，什麽事情都由夫婦合作。上課了，妻子進來，端著一杯咖啡牛奶放在丈夫的麵前，從他手裏接過他正在誦讀的默書底稿（dictée）代他接念下去，讓丈夫安心用早餐。一八〇八至一八一一年間，維克托一直在這學校裏；一八一二年春從西班牙回來後，卻由裏維埃到弗伊朗坦斯來教他兄弟兩人。
思想雖是守舊，裏氏的學問倒很有根基。他熟讀路易十四時代的名著，詩也作得不錯，很規矩，很壓韻，自然很平凡。他懂得希臘文亦懂得拉丁文。維克托從那裏窺見了異教的神話，懂得了鑒賞古羅馬詩人。這於雨果將來靈智的形成，自有極大的幫助。