史彌遠雖獨居相位，也懼怕樹大招風，況朝臣中對他獨攬朝政，迫害濟王，矯立理宗多有微言。雖理宗因感他擁立之功多加庇護，終究難得安寧。因而，屢次上疏乞歸。晚年時，他想在家鄉找一塊好墓地作為歸宿，不料竟引出一場風波，幾乎使他遭受滅頂之災。相傳，史彌遠為找墓地招集許多風水先生，最終看中了阿育王寺這塊“八吉祥六殊勝地”。史彌遠覺得很合心意，便下令在那年八月中秋節後拆寺建墳。正當阿育王寺和尚聽到這個消息，急得如同熱鍋螞蟻，阿育王寺方丈更是六神無主時，有個叫師範的小和尚說他有辦法保護寺院。師範小和尚得到方丈允準，到了南宋都城臨安。
在一個月黑風大的夜晚，在城門、宮牆、大街上都貼著這樣一張詩單：“育王一塊地，常冒天子氣；丞相要做墳，不知主何意？”臨安百姓對史彌遠早已怨恨，見了詩單後便紛紛傳言：“史彌遠要霸占天子氣，要謀皇篡位了。”消息傳進皇宮，理宗素知史彌遠為人，過去他能一手遮天幫自己坐上皇位，如今也難保史彌遠不會篡皇位，便把史彌遠宣進皇宮，查問此事。史彌遠也怕皇上翻臉，不光富貴保不住，怕還有滅九族之禍。於是，趕緊撒謊道：“臣的墳墓早已做在東錢湖大慈山了，詩單無中生有，望萬歲明察。”這樣一來，阿育王寺被保留下來，史彌遠的墳墓也真的做到東錢湖大慈山了。
紹定六年（1233年）十月，史彌遠病重，才將他的黨羽鄭清之升為右丞相，結束了他獨相二十六年的曆史。次日以病危致仕，授兩鎮節度使，封會稽郡王，數日後去世，追封衛王，諡忠獻。所賜諡號與秦檜諡號相同的忠獻，並非完全是偶然的巧合，也許是討論諡號的禮官們，認為史彌遠就是與秦檜屬同一類人物，因為這在當時是士大夫們的某種共識。著名文學家劉克莊，在一年多以後的端平二年（1235年）七月，給宋理宗的劄子中，就公開將史彌遠列為與秦檜一樣的“小人”，指出“柄臣濁亂天下久矣……柄臣與其徒皆攫取陛下之富貴而去，而獨留其大敝極壞之朝綱……小人恃智巧，君子恃天理、人心之正，而天與人又有時而不然，檜十九年、彌遠二十六年而衍七十日，光（指司馬光）九月，君子之難取必於天如此。”