公元755年，安史之亂爆發。第二年唐玄宗逃至馬嵬坡（今陝西興平縣西北）處時，隨行將士處死宰相楊國忠，並強迫楊玉環自盡，史稱“馬嵬坡兵變”。兵變後唐玄宗西逃，太子李亨在靈武（今寧夏省內）即位，是為唐肅宗。
朝廷是在一個內憂外困的情況下建立起來的，唐肅宗深感舉步維艱，於是急召因避楊國忠弄權而歸隱山林的李泌相輔。二人相見後，唐肅宗非常高興，事無大小都向他谘詢，對他言無不從，甚至睡覺時也同榻而眠。
後來，李泌看到唐肅宗寵信皇後張良娣，縱容她幹涉政事；又任用宦官李輔國專權，國家朝政在這兩派勢力的鬥爭下，越來越亂。李泌感到自己一人勢單力薄，待在朝中已經成為了別人眼中釘，為了避免滅族，李泌決定再次退隱山林。
因此，當長安收複後，李泌就對唐肅宗說：“您對我的恩情重如山，如今我已經粗淺地回報了一些聖恩，從今以後，請陛下準許我做個閑人吧。”
唐肅宗不同意，說：“我同先生憂患多年，應與先生共同享樂，您為什麽要離開我呢？”
李泌對挽留之情深厚的唐肅宗說：“我有五不可留，希望您聽完後讓我離開，免於一死。”
唐肅宗連忙問哪五個不可留的理由。
李泌回答說：“我遇您太早，您任我太重，寵任我太深，我的功勞太高，事跡太奇，所以不能留在朝中。如果您不讓我走，就是殺了我。”
唐肅宗再三挽留都沒有用，最後隻得同意了李泌的請求。
臨行之際，李泌對唐肅宗說：“您對我這麽信任、這麽恩寵，建寧王被冤殺一案我也不敢說。現在我說出來，不是想追究此事，而是提醒您將來不要出現類似的情況。”
唐肅宗吃驚地說：“建寧王聽信小人的話，謀害兄長，想奪儲位，我不得不把他賜死，先生應該很清楚啊！”