辦完母親的喪事後，家中又恢複了常態，李白決定再度辭親遠遊。雖然自知現在提這件事不太合適，但李白最終還是開口向已經白發蒼蒼的老父親提出遠遊的計劃。這一次，李客沒有像之前那樣毫不猶豫地支持兒子，他閉口不言，一臉茫然地看著兒子，接著欲語還休地牽動了下嘴角，默默地對李白揚了揚手。這一年，李白24歲。
曉峰如畫碧參差，藤影風搖拂檻垂。 野徑來多將犬伴，人間歸晚帶樵隨。看雲客倚啼猿樹，洗缽僧臨失鶴池。莫怪無心戀清境，已將書劍許明時。
這首詩寫出了李白的政治抱負和他此次遠遊的目的，可見李白離鄉之際，心中既有對故鄉的眷戀之情，又有著入世之心高於一切的理想，李白在矛盾的心情下寫就了這首《別匡山》之後，仗劍東行。
李白與師兄吳指南首先到峨眉去拜訪老友，但未作久留，隨即離開。臨行前，他作了一首《峨眉山月歌》，自此他再沒回到這風景如畫、令他魂牽夢繞的地方。
峨眉山月半輪秋，影入平羌江水流。夜發清溪向三峽，思君不見下渝州。
離開了峨眉山，他們先到三峽，住在夔州（今四川奉節縣）的西山上，後人為了紀念李白，把這座小山丘稱為太白岩，還在上邊修築了一座太白祠堂。
李白在這裏住了一年多，十分心儀這裏的秀麗景色。如果是幾年前，他也許會在這兒住上五年、十年，但此時，李白的心境大不一樣了，他感到自己可以利用的大好歲月有限，於是他在夔州待了十多個月，整理了一下心緒，便又繼續前進。
出川之後，李白沿著長江東下到了荊門、江陸一帶，這時一路與李白同行的吳指南突然身染惡疾，最後竟病逝於洞庭湖。李白傷心得伏屍慟哭。他本想把吳指南好好安葬，無奈此時旅費已所剩不多，實在無力為其殯葬，李白隻好準備就地安葬。當晚，李白守在師兄的屍首旁，直到後半夜，疲累交加的李白困極了，便在離屍體不遠的一棵樹下打坐，閉目養神，突然四周起了一陣腥風，吹得草木刷刷作響，李白睜開眼，愕然看見一隻老虎正睜著眼睛，站在約摸十尺遠的地方，注視著吳指南的屍身。李白毫不猶疑地拿起日月劍奔至吳指南屍身旁，執劍與餓虎對立而站著，也許是李白的劍道中藏有一股懾人的氣勢，僵持了數分鍾，那隻垂涎的餓虎竟然搖著尾巴走開了。翌日，李白匆匆地在洞庭湖濱掩埋了吳指南。