李東陽的為官之道，如果僅從道德觀念出發，的確有可指責之處。如果以氣節為尚，他就不能留在首輔位上與惡人為伍。但是，正是因為他與狼共舞，許多道德至上的君子才得到了保護。換句話說，正因為他下了地獄，才讓一些君子上到了天堂。官場非常複雜，僅有操守氣節，在某種特定時期，是做不成事的。但是，一幫奉道德為圭臬的清流卻借此攻擊李東陽。有一天，李東陽的門前，也出現了一張白頭帖，帖上是四句詩：
清高名位鬥南齊，
伴食中書日已西。
回首湘江春水綠，
子規啼罷鷓鴣啼。
很明顯，這匿名詩譏刺李東陽貪戀祿位，不能像劉健、謝遷那樣拍案而起，掛冠而去。鷓鴣啼“行不得也，哥哥”，實際上的意思是“哥哥，你快走吧”。據說，李東陽看到這首詩後，臉色沮喪，卻照舊吩咐起轎，前往內閣上班。而這首詩也不脛而走，數日裏傳遍兩京。
不久，又發生了一件事，對李東陽刺激更大。
一個叫羅玘的侍郎，是李東陽的門生。所謂門生，即李東陽擔任會試主考官時錄取的進士。在明代，座主與門生的關係，是各種人際關係中最為重要的一環。門生視座主為再生父母，終身恭敬。可是，羅玘覺得李東陽骨頭太軟，要他辭官保持名節。李東陽不置可否。羅玘惱怒之下，竟寫了一封公開信給李東陽，聲明從此斷絕師生關係，自請削籍。李東陽看到這封信後，俯首長歎不已。
試想一下，當上首輔的李東陽，處境何其艱難。一方麵，他要與劉瑾、焦芳等一幫惡人為伍，既不能同流合汙，又要操勞國事，彌縫艱難；另一方麵，他還要忍受來自同類的誤解和傷害，既不能辯解更不可報複。事實上，來自同類的傷害讓他更為傷心。
正德五年（1510）八月，在三邊總督楊一清與太監張永的聯手下，劉瑾被武宗下令逮捕並最終誅除。據說劉瑾被淩遲處斬時，怨恨劉瑾的人家，都爭先恐後地上前購買劉瑾的肉，不等肉煮熟，便都吃了下去，以此發泄壓抑太久的憤怒。