李泌在朝，盡心輔助肅宗，平定天下；守複兩京，迎回上皇。待上皇去世，肅宗內寵張良娣，外溺李輔國；李泌知不可留，一日肅宗留李泌在宮中宴飲，同榻寢宿。泌乘間求退，略謂：“臣已略報聖恩，今請許作閑人。”
肅宗道：“朕與先生同患難，當與先生共安樂，奈何思去耶？”
李泌答道：“臣有五不可留：臣遇陛下太早；陛下任臣太重；寵臣太深；臣功太高；跡亦大奇；有此五忌，是以不複可留也。”
肅宗見李泌說話甚是堅決，心中卻甚是舍不得；但卻也是無法挽留，隻是默然不語，忍不住流下淚來。李泌見肅宗如此情重，心中十分感動，忙爬下地去叩著頭道：“陛下天高地厚之恩，臣終身不言去矣！”
肅宗上去，把李泌扶起，君臣二人，握住手大笑。從此李泌又早晚在宮中。
肅宗在東宮的時候，常被李林甫欺壓，便是吳妃，也因害怕林甫的威權，憂懼而死。如今肅宗登位，李林甫雖已死多年，但皇帝一口怨恨之氣，終不曾出得。便欲去掘開李林甫的墳墓，燒他的屍骨。李泌勸道：“陛下身為天子而不忘宿怨，未免示人以不廣。”
肅宗滿麵怒色道：“李林甫之往事，卿豈敢忘之耶？”
李泌答道：“臣意不在此，上皇有天下五十年，壽數已高；一旦失意，南方氣候惡，且春秋高，聞陛下修舊怨，將內慚不樂，萬一有所傷感，因而成疾，是陛下以天下之廣，不能安親也。”
肅宗恍然大悟，去抱住李泌的頸子，淚如雨下，連連說道：“朕不如卿也！”
此時史思明擾亂東南，其勢甚大，肅宗甚是憂慮。問李泌：“何日能盡滅賊寇？”
李泌對道：“賊掠得金帛子女，盡送至範陽，是有苟得之心，豈能取中國耶！唐人為所用者，皆脅製偷合；至天下大計，非所知也。臣意不出二年，盡滅寇矣！陛下無欲速。夫王者之師，當務萬全，圖久安，使無後患。今當下詔，使李光弼守太原，出井陘，郭子儀取馮翊，入河東，則史思明、張忠誌不敢離範陽常山，安守忠、田乾真不不敢離長安，是以三地禁其四將也。使子儀毋取華令，賊得通關中，則北守範陽，西救長安，奔命數千裏，其精卒勁騎，不逾年而斃。我常以逸待勞，來避其鋒，去翦其疲；以所征之兵，會扶風與太原朔方軍互係之；徐命建寧王為範陽節度大使，北並塞與光弼相掎角以取範陽。賊失巢窟，當死河南諸將手。”