弘治八年以後，孝宗在朝政上漸漸鬆懈下來，太監楊鵬、李廣朋比為奸，蒙蔽孝宗。李廣用得道修煉不斷蠱惑，害得聰明仁恕的孝宗居然也迷信起仙佛來，還召用番僧方士來研究仙符祈禱的事情。大學士徐溥以及閣臣劉健、謝遷、李東陽等人都上疏勸阻，並引唐憲宗、宋徽宗的典故為戒，孝宗雖然無不嘉許，心中卻總是寵任李廣。李廣權傾朝野，越來越驕縱不法。徐溥憂慮氣憤，竟然得了眼病，於是三次上疏辭官。皇上答應了下來。
這時，韃靼部小王子等人又來侵擾邊境。之前的兵部尚書王越被貶多年，他派人賄賂李廣，求他暗中保薦。不久，奉旨起用，總管三邊軍務。王越那時年過七十，奉詔即行。飛奔至賀蘭山下，攻破了小王子的大營，繳獲牛、馬、駱駝不計其數，被晉封為少保。李廣因為舉薦有功，也重重有賞。李廣每天獻計獻策，無人不從。後來又勸孝宗在萬歲山建造毓秀亭。亭子剛剛建成，幼公主忽然夭逝，接著清寧宮著火。清寧宮是太皇太後的住所。火災之後，司天監奏稱，建毓秀亭犯了歲忌，所以才有這種災禍。太皇太後大怒：“今天李廣，明天李廣，天天鬧李廣，果然鬧出禍事來了！李廣不死，後患恐怕還不止這些呢。”這句話傳到李廣耳朵裏，不禁膽戰心驚，暗暗說道：“這下壞了！得罪了太皇太後，還有什麽活頭？不如早點了斷！”於是悄悄回到家中，倒滿一杯鴆酒，一飲而盡，睡死在了**。
孝宗聽說李廣暴死，心裏非常惋惜。後來想到李廣有些道行，這次或許是駕鶴仙去也未必，他家裏總會有些奇書，何不找來一看？於是就命太監到李廣家去搜索秘籍，去了沒多久，就看見太監夾著一些書本回來複命。孝宗大喜，展開一看，並不是什麽服食煉氣的方法，而是些出入往來的賬目。其中有某日某文官贈了黃米多少石，某日某武官贈了白米多少石，約略核算下來，黃米、白米有幾千萬。孝宗不禁詫異起來，就質問左右：“李廣一家有多少張吃飯的嘴，能吃這麽多黃米、白米？況且聽說李廣家麵積不大，這麽多黃、白米怎麽貯存啊？”左右答：“萬歲有所不知，這都是李廣的隱語。黃米就是黃金，白米就是白銀。”孝宗聽到這話，不禁大怒：“原來如此！李廣欺瞞著朕，私下收受賄賂，文武百官更是無恥，真是可惡至極！”說完當即手諭刑部，並將賬本頒發下去，讓法司一一追查。李廣當日聲勢顯赫，大臣們沒有一個不和他往來的。聽到這消息，自然個個驚心，隻好去找壽寧侯張鶴齡，黑壓壓地跪了一地，求他到皇帝麵前說情。壽寧侯起初不肯答應，無奈官員們跪著不起，隻好親自給大內寫信，托張皇後從旁勸解。張皇後委婉地勸了很久，才算了事。