永王敗走，李白也隻好蒼黃南奔。他奔到彭澤自首，於是便以附逆之罪被投入獄中。這在他真是沒有夢想到的天外飛來的橫禍。他的從永王“東巡”，本來是出於一片報國憂民的誠意，誰想到竟落得成為一個叛逆的大罪人？他是異常悲憤而傷痛的。他在獄中做了《百憂章》《萬憤詞》等詩，說他“舉酒太息，泣血盈杯”（《百憂章》），又說“淚血地而成泥，獄戶春而不草”（《萬憤詞》）。他在精神上受了很大的打擊。
意外的是，他這時和十年前的詩友高適卻成為了對立麵。高適是反對房琯“製置”建議的人。《唐書·高適傳》：“永王璘起兵於江東，欲據揚州。初，上皇以諸王分鎮，適切諫不可。及是，永王叛。肅宗聞其論諫有素，召而謀之。適因陳江東利害，永王必敗。上奇其對，以適兼禦史大夫、揚州大都督府長史、淮南節度使。詔與江東節度使來瑱率本部兵平江淮之亂，會於安州。師將渡而永王敗，乃招季廣琛於曆陽。兵罷。”高適，與李白、杜甫相反，成為肅宗集團的人，因而飛黃騰達起來了。高適既是討伐永王的統帥，李白自然也就是他所討伐的對象。李白的下獄是否出於高的指令不得而知，他至少是采取著作壁上觀的態度。這在受者直等於幸災樂禍。因此，李白對於高適的感情也就可想而知了。李白有《送張秀才謁高中丞》一詩，實際上是對於高適的一篇《廣絕交書》。詩有序：
餘時係尋陽獄中，正讀《留侯（張良）傳》。秀才張孟熊，蘊滅胡之策，將之廣陵（揚州），謁高中丞（適）。餘喜子房之風，感激於斯人。因作是詩以送之。
“中丞”為禦史大夫的副職，史稱高適兼禦史大夫，蓋尊稱之。張孟熊“蘊滅胡之策”，是說他有恢複東西二京，消滅安慶緒、史思明的計劃。當年正月安慶緒已經殺了他的父親安祿山，仍然盤據在洛陽。張孟熊是想去見高適，勸他進兵洛陽。所以使得李白“感激”——深深地有所同感，而認為張孟熊有其遠祖張子房（良）之風。因為這樣，所以作詩送他。無疑也是有意通過他把詩給高適看，以表達自己的心境。詩的前半段稱頌張良“智勇冠終古”，初則為韓報仇而反秦，繼複佐漢解紛而滅楚。張孟熊既有平定安史之亂的計劃，因而說他發揚了先人的“清芬”。接下去便轉入了當時的現實。