離開杭州，白居易到了蘇州去當刺史。但隻過了一年，他就犯了嚴重的眼病，沒法再照管郡中的政務了。從這時候開始，白居易就不太參與實際的政治事務了，他開始隱退，步入了晚年。
五十六歲時，白居易回到長安，做了秘書監。這是一個文壇領袖喜歡擔任的職務。這時候已經是文宗大和元年，算是晚唐了，白居易已經是朝中元老，穿上了最高級別的金紫官袍。
這時候的白居易，已經不是那個被寄予厚望、願意為唐王朝做事的青年了。他不用再做任何事，存在的意義就是做前朝傳統和長者權威的象征，隻要讓大家還能看到他就好，實際上成了蒼髯皓首、穿著華貴官袍的“吉祥物”。
五十八歲的時候，白居易辭去了朝中的職務，帶著“太子賓客”這樣的榮譽頭銜到洛陽居住，實際上結束了政治生命。他在洛陽買了一所有水竹園林的豪宅，在那裏頤養天年，直到七十五歲去世。
在最後的日子裏，白居易的生活，就是作為一位長者，與朝中官員和其他退隱的老人唱和酬贈。其間，他經曆了摯友元稹的逝世，也接見了詩壇新銳李商隱。
晚年的白居易，是一個生活在晚唐的中唐人，一個真正的“老人”。他代表著舊的時代，卻又真實地生活、寫作著。他不再從政，寫的詩也不再能翻出新意，但他在政治上、文學上又享有崇高的話語權，令年輕人感到壓力。他的這個狀態持續了二十年，也讓白居易給詩壇留下了一個老人的形象。
在漫長的晚年裏，白居易寫詩自娛。他把他中年拿手的“閑適詩”又撿了起來。他晚年的閑適詩，主要寫自己不用上朝、不用出門、衣食無憂的閑適生活。這時候的閑適，是真的閑適，不再有政治上被壓抑的落寞。如果還有落寞，那是因為他意識到自己老去了，不能再有所作為，年齡給了他最徹底的放逐。