從風光無限的京官生活一下子跌落塵埃，屠隆覺得就好像置身於一個不真切的夢裏。生活的困頓不去說它，最難忍受的還是世人的白眼，尤其是來自那些不明底細的故交舊友的非議。
文壇領袖王世貞一向視他為“真才子”，算是很看重他才華的，此案一經發布，就斷定屠隆是被自身的才華給害了，以不無沉痛的語氣感歎說，即使把屠隆老家寧波東錢湖的水全部起底，也洗刷不掉“文人無行”四字。王世貞之弟王世懋，早年也算是與他意氣相投的，從青浦時期到京城，往來從不中斷，一聞聽他削籍東歸，連寫去的長箋也無片語回複，真正是棄他如遺跡。還有一個訂交很早的老友，即日後出任內閣首輔的王錫爵，聽說屠隆因“**縱”被逐，也是寧信其有，不做任何聲援。這幾人論職務、論官場聲望都遠在自己之上，關鍵時刻怎麽就不肯出頭替自己說幾句話以正視聽呢？
最令他痛心的是同鄉詩人沈明臣的反目。沈從未考中功名，布衣終身，以耀眼的詩歌才華名動東南，與當時文壇名流都有結交，兩人雖同為浙東鄞縣人，神交十年卻從未一晤。1564年，兩人在南京兵部尚書張時徹家中首次見麵時，皆有一時瑜亮之感，一個稱對方“李白再世”，一個誇對方“真非常人”，自此互引為知己，經常一起詩酒唱和。沈明臣一副名士做派，一年到頭，不管是出門還是會客，總喜歡穿各種款式的紅衣，人稱“緋衣公”。兩人關係熟絡後，屠隆曾打趣說沈的紅衣有各種效用，春衣用以騎馬，夏衣可以擁妓，秋衣用以垂釣，冬衣用以賞雪。屠隆任職青浦時，沈明臣在萬曆七年、八年（即1579年、1580年）至少有三次和朋友們一起來看望過他。屠隆記得最真切的一次是萬曆八年四月，恰逢長子出生，沈明臣與馮夢禎、沈懋學聯袂至青浦，送了賀生禮物錦褓、金釧及洗兒錢，還吃了滿月酒，兒子的小名阿雲，還是沈明臣給取的。那天酒酣耳熱，初為人父的屠隆問幾個朋友，兒子取啥小名為好，思路敏捷的沈明臣接口就說，青溪，雲間地，此兒雲間生，當小字阿雲……沈明臣經濟拮據，屠隆經常從可憐的一點俸祿裏拿出一點接濟他，後來到了京城，也常給老家的沈明臣寄各種物品。這次栽大跟鬥罷了官，他也是第一時間寫信告訴了沈明臣，告知他待河水解凍後就南行回家，隻是郵路梗阻，這封萬曆十二年（1584）十一月十七日發出的信，等到沈明臣收到已是第二年的梅雨季節了。沈明臣訝其遲來，寫信又不知寄往何處，寫了一首詩表達盼歸的急迫心情，在詩裏他把屠隆比作詩人杜甫，把自己比作錦裏先生，說自己和家鄉的父老已經準備好了美酒，歡迎屠隆早日歸來。“他鄉縱好難留滯，稚子朝朝遣候門”[102]，自家兒子好差遣，天天派去門口看有無人來，卻總是失望以告。