“知己難哉！”被失望和憤懣燒灼著，屠隆變得偏執了，他把那些舊日的朋友分作兩類，一類是站在自己一邊，為自己的不公正遭遇說話的，一類是對自己不聞不問甚至落井下石的。他轉而對自己曾經身處其中混得如魚得水的士大夫階層公開表示不滿，“今之士大夫，不通貧賤而好接貴人，不尚清言而好涉塵務”，那都是一幫趨炎附勢的勢利之徒啊！當你聲名盛時，他們爭相與你把臂論交，恨不得與你情同管鮑，一旦你遭讒去國，身名兩摧，“生平心知，平懷觀望……炎涼聚散，朝暮迥若兩人”。他說他都有點搞暈了，弄不明白到底他們的哪副麵孔才是真實的。
屠家本就寒微，祖上三世布衣，其父早年在甬江邊的桃葉渡一帶打魚為生。在一篇自述家世的文章裏[106]，屠隆說，他當官的這些年裏，有了一筆固定的俸銀，經濟總算有所好轉，但自己為人急公好義，常拿這筆錢去接濟窮朋友，為官多年也無多少存款，以至“官舍常無隔宿糧”。在剛回浙江老家寫給一個朋友的信中，出於一種虛榮、矯飾的心理，他把自己的狼狽竄逐描繪成了對京城上流社會的主動放棄，說自己做夢也不會夢到此地了（“與長安隔世，夜臥絕不作華清馬蹄夢”）。他說自己剛回到家鄉時，“遠客乍歸，親朋來見，黃花白酒，日入陶然，大是愉快事”[107]。描繪自己的鄉居生活，“脫朝衣，把布袍穿上，荷犁鋤，擲手板腰章”[108]，說是景態清泠，一點也沒有吳越間士大夫家的豔俗氣：家有采芝堂，堂後有樓三間，雜植小竹樹，臥房廚灶都在竹間，枕上常聽啼鳥聲。宅子西麵有兩株上百年樹齡的桂花樹，秋來花發香滿，庭中一塊空地上開鑿小池，栽紅白兩色的蓮花，池旁引種桃樹數株，一到三月桃花開時，水中花映著岸上人，迷離曲折得簡直如同傳說中的阿房宮和隋煬帝的迷樓一般……