自大曆元年（766年）到夔州，杜甫一家在生活上雖然還過得去，但是當地潮濕的氣候使得杜甫不能適應，他想要離開這裏。大曆三年（768年）正月中旬，杜甫一家自白帝城起航，出三峽，首先到了荊州（今湖北荊州），秋季又到公安縣（今湖北公安），歲暮時抵達嶽州（今湖南嶽陽）。
在安定的土地上求溫飽對杜甫來說本就艱難不易，更何況是漂浮無定的水上生活，杜甫年已老邁，無法營生，隻能依靠兒女們偶爾捕魚賣魚勉強度日。杜甫也曾想去投靠各地親友，但依賴別人生存終究不是長久之計，因而這裏停一個月，那裏停數十天，以船為家，不知道哪裏才是彼岸。
在嶽州，杜甫登嶽陽樓見水勢遼闊，天地悠悠，滄海一粟，想到飄零半生，親朋零落，不禁老淚縱橫，悲從中來，遂有《登嶽陽樓》的感傷。
昔聞洞庭水，今上嶽陽樓。
吳楚東南坼，乾坤日夜浮。
親朋無一字，老病有孤舟。
戎馬關山北，憑軒涕泗流。
——《登嶽陽樓》
這時的杜甫耳朵已半聾，手臂很不靈活。第二年三月間，杜甫先到潭州（今湖南長沙），後來又到衡州（今湖南衡陽）逗留了些時日，夏季又再回到潭州。
大曆五年（770年）春，杜甫在潭州靠著在漁市擺攤賣藥來維持生計，有一天他竟然遇見了玄宗時的樂師李龜年，他也流落到潭州。杜甫昔年常到岐王李範或崔滌家裏聽李龜年的演奏，如今亂世他鄉，竟能再度遇到故人，杜甫心中既欣喜又感慨，轉而吟哦成詩，短短的四句詩道出了幽幽的歎息和無奈。
岐王宅裏尋常見，崔九堂前幾度聞。
正是江南好風景，落花時節又逢君。
——《江南逢李龜年》
回想起昔日長安的繁華，至今已十數年了，如今的長安殘破不堪，連當初受玄宗寵愛的樂師如今也落得漂泊四方，靠賣唱為生的境地，時移世易，怎能不令人歎息再三。