卻說弘治八年以後，孝宗求治漸怠，視朝日晏，太監楊鵬、李廣，朋比為奸，蔽塞主聰，廣且以修煉齋醮等術，慫恿左右，害得聰明仁恕的孝宗，也居然迷信仙佛，召用番僧方士，研究符籙禱祀諸事。大學士徐溥及閣臣劉健、謝遷、李東陽等，俱上書切諫，引唐憲宗、宋徽宗故事為戒，孝宗雖無不嘉許，心中總寵任李廣，始終勿衰。廣越加縱恣，權傾中外，徐溥憂憤得很，致成目疾。不能拔去眼中釘，安得不成目疾？三疏乞休，乃許令致仕。適韃靼部小王子等，複來寇邊，故兵部尚書王越，貶謫有年，複遣人賄托李廣，暗中保薦，乃複特旨起用，令仍總製三邊軍務。越年已七十，奉詔即行，七十老翁，何尚看不破耶？馳至賀蘭山，襲破小王子營，獲駝馬牛羊器仗，各以千計，論功晉少保銜。李廣所舉得人，亦邀重賞。廣每日獻議，無不見從。會勸建毓秀亭於萬歲山，亭工甫成，幼公主忽然夭逝，接連是清寧宮被火。清寧宮為太皇太後所居，被災後，由司天監奏稱，謂建毓秀亭，犯了歲忌，所以有此禍變。太皇太後大恚道：“今日李廣，明日李廣，日日鬧李廣，果然鬧出禍事來了。李廣不死，後患恐尚未了呢。”這句話傳到李廣耳中，廣不覺戰栗異常，暗語道：“這遭壞了，得罪太皇太後，還有何幸？不如早死了罷！”也有此日。遂悄悄還家，置鴆酒中，一吸而盡，睡在**死了。
孝宗聞李廣暴卒，頗為惋惜，繼思李廣頗有道術，此次或屍解仙去，也未可知，他家中總有異書，何勿著人搜求。孝宗也有此呆想，可知李廣蠱惑之深。當下命內監等，至廣家搜索秘籍，去不多時，即見內監挾著書簿，前來複命。孝宗大喜，立刻披覽，並沒有服食煉氣的方法，隻有那出入往來的帳目，內列某日某文官饋黃米若幹石，某日某武官饋白米若幹石，約略核算，黃米白米，何啻千萬，不禁詫異起來。黃米白米，便是服食煉氣的方法，何用詫異？便詰問左右道：“李廣一家，有幾多食口？能吃許多黃白米？且聞廣家亦甚狹隘，許多黃白米，何處窖積？”真是笨伯。左右道：“萬歲有所未知，此乃李廣的隱語，黃米就是黃金，白米就是白銀。”孝宗聽到此語，不覺大怒道：“原來如此！李廣欺朕納賄，罪既難容，文武百官，無恥若此，更屬可惡！”至此方悟，可惜已晚。即手諭刑部，並將簿據頒發，令法司按籍逮問。看官聽說，李廣當日聲勢烜赫，大臣不與往還的，真是絕無僅有，一聞此信，自然一個個寒心，彼此想了一法，隻好乞救壽寧侯張鶴齡，昏夜馳往，黑壓壓的跪在一地，求他至帝前緩頰。壽寧侯初不肯允，奈各官跪著不起，沒奈何一力擔承，待送出各官，即親詣大內，托張後轉圜，張後婉勸孝宗，才得寢事。