然而，被寄予期望的青年，並不都是一路領先於同齡人，直至做上宰相的。他們中的多數人，在中年都會蹉跎、沉淪，每個人的具體原因各不相同。白居易的蹉跎，就體現為丁憂和貶謫。
按照當時的製度，父母去世要在家丁憂三年。這是讓一個人的仕途慢下來的契機，也是官場的暗鬥容易發生效力的節點。丁憂者遠離朝政，看著“沉舟側畔千帆過”而不能有所作為。丁憂結束後，有的人可以馬上東山再起，有的人就要受到政敵的乘機阻撓。
白居易及第時，已經服完父喪。在他四十歲時，母親去世了。在此之前，他做了多年言官，已經受到了不少人的嫉妒和怨恨。此時，朝中政局複雜，前有“永貞革新”，後有“牛李黨爭”。作為新晉官員，白居易在“永貞革新”中傾向劉禹錫等人；作為科舉出身的寒素士人，白居易在“牛李黨爭”中傾向於牛黨。白居易不是極端派，隻是在黨爭中略有傾向，但既然有黨爭，就難免會受到對立麵的刁難。
白居易丁憂時，就隱隱感覺到了不好。這時候，他開始寫閑適詩。這些詩作表麵是寫自己安於閑適的生活，不用上班很開心，實際上仍然透露出被遺忘的焦慮與落寞。果然，丁憂結束，朝廷遲遲不肯重新征召白居易。
在不祥的預感中，四十四歲的白居易等來了政治上的打擊。他被誣陷了一堆莫須有的罪名，最終被貶為江州司馬。
江州司馬是六品官，從品級上來看也不低，但是士大夫在乎的不是官品的高低，而是能不能做自己想做的事。州司馬是太守的副手，是地方上的閑職，如果皇帝暫時不想用你，但是還不至於剝奪你的官員身份，那麽就最有可能給你安排這樣的職位。從拾遺到州司馬，雖然官品還升了兩品，但心理感受是從天上跌到了地下。直言敢諫的拾遺經常會落到這樣的境地，被“貶為”一個官品比拾遺還高的地方官。