辦完母親的喪事後，家中又恢複了常態，李白決定再度辭親遠遊。雖然自知現在提這件事不太合適，但李白最終還是開口向已經白發蒼蒼的老父親提出遠遊的計劃。這一次，李客沒有像之前那樣毫不猶豫地支持兒子，他閉口不言，一臉茫然地看著兒子，接著欲語還休地牽動了下嘴角，默默地對李白揚了揚手。這一年，李白24 歲。
曉峰如畫碧參差，藤影風搖拂檻垂。
野徑來多將犬伴，人間歸晚帶樵隨。
看雲客倚啼猿樹，洗缽僧臨失鶴池。
莫怪無心戀清境，已將書劍許明時。
這首詩寫出了李白的政治抱負和他此次遠遊的目的，可見李白離鄉之際，心中既有對故鄉的眷戀之情，又有著入世之心高於一切的理想，李白在矛盾的心情下寫就了這首《別匡山》之後，仗劍東行。
李白與師兄吳指南首先到峨眉去拜訪老友，但未久留，隨即離開。臨行前，他作了一首《峨眉山月歌》：峨眉山月半輪秋，影入平羌江水流。
夜發清溪向三峽，思君不見下渝州。
自此他再沒回到這風景如畫、令他魂牽夢繞的地方。離開了峨眉山，他們先到三峽，住在夔州（今重慶奉節縣）的西山上，後人為了紀念李白，把這座小山丘稱為太白岩，還在上邊修築了一座太白祠堂。
李白在這裏住了一年多，十分心儀這裏的秀麗景色。如果是幾年前，他也許會在這兒住上五年十年，但此時，李白的心境大不一樣了，他感到自己可以利用的大好歲月有限，於是他在夔州待了十多個月，整理了一下心緒，便又繼續前進。
出川之後，李白沿著長江東下到了荊門、江陵一帶，這時一路與李白同行的吳指南突然身染惡疾而病逝於洞庭湖（一說是吳指南與人突起衝突而被毆致死）。李白傷心地伏屍慟哭。他本想把吳指南好好安葬，無奈此時旅費已所剩不多，實在無力為其殯葬，李白隻好準備就地安葬。