生存處境艱難，病情複發，誤解隨之而來，而誤解的交疊又衍生了新的誤解。這是抵製辯解的公共空間，其中沒有什麽是純潔的，也沒有什麽是邪惡的，但一切都受懷疑。盧梭以為自己樸實善良，熱愛美德，在這個空間裏卻無說服力，他的形象日漸失控。1766年之前，他的事總讓人有興致，報紙派人跟蹤他的行程，奔赴各地搜集信息，包括他的著裝、住所和交往中的言行。[130]盧梭休謨之爭後，關注他的人普遍以為他瘋了。普萊斯勒憶及1778年的見聞：“他看待一切都悲觀，喜歡誇大不利的形勢，尤其在心情憂鬱時。”克蘭賽去過埃莫農維爾，盧梭說他是敵人，之後又承認不是；杜索爾也有這樣的經曆，“談話時盧梭常陷入疑慮，擔心我撲過來”。[131]朱爾丹（Jourdan）解釋他晚年的精神狀態：
一生紛爭不斷，是因為性情以及外在的麻煩，重重壓力之下，妄想出現，他遠離了朋友，晚年為猜疑、不信任所困，言行難為人理解。[132]
1766年後，盧梭有了新形象（瘋癲、忘恩負義、憤世嫉俗、江湖騙子）。蒙田說“忘恩負義”是貪婪者的特性，“瘋癲”在盧梭生前並不專指現代意義的精神疾病，而是有道德批判的傾向，背負這一稱謂的人要被驅離社會；“江湖騙子”是嘲諷那些到處行騙的庸醫，後來指文學界和科學界裏裝腔作勢、附庸風雅的人，“他們說起話來像希臘人那樣誇張，見到表述精當的語言就會叫嚷”[133]。盧梭曾說給他治病的日內瓦醫生特羅尚是“江湖騙子”，此時他被斥為“江湖騙子”。所謂“憤世嫉俗者”，是那些對一切不滿的人，他們與人說話時言辭激烈，不想從醜惡裏甄別良善，眼中隻有紛亂，心底都是憤懣。
這些否定的評價，對盧梭來說一個都不輕鬆，他在晚年自傳裏希望辨明真相，但收效甚微。1782年，《盧梭評判讓-雅克》與《懺悔錄》結集出版，讀過的人會問：這樣的風格是不是瘋癲的征象？達朗貝爾翻了《懺悔錄》幾頁，覺得作者瘋了，《秘密回憶報》有相似的評論，“盧梭有嚴密的思維和雄辯，也有陰暗的想象和離奇的癚妄”[134]。布弗萊夫人在1766年就聽休謨說過，盧梭在英國時內髒有問題，曾找當地的醫生治療，用了熱敷的方法；但讀完《懺悔錄》後，她不再同情盧梭，“邪惡無常，像是月球轉動引起的精神錯亂”[135]。安維爾（Anville）公爵夫人從中觀察到盧梭受病痛的幹擾才將不幸的遭遇編排成陰謀。[136]馬勒澤爾布讀後覺得作者不正常，他總說世間人迫害他，“這讓人苦惱，但塔索（Tasse）也患有瘋癲，發作間歇寫了崇高的作品，帕斯卡爾（原文Paschal，又寫作Pascal）有類似的問題”。馬勒澤爾布曾與盧梭有相互信任的交往，此時卻將他的瘋癲歸於性情高傲，“雖不是唯一原因，至少有不小的作用”。[137]