徐霞客一行返回衡陽，來到同鄉金祥甫家，想求老鄉幫忙解決旅費。金祥甫也手緊，推辭說，弄旅費很困難，如想回家，倒是可想想辦法湊些盤纏。
徐霞客懇求說：“我不能就這樣回去，這等於半途而廢。你想想看，如果我家人知道旅途這麽危險，還會讓我再出來嗎？
你幫我作保借些錢吧，待你回家鄉時就到我家來取！”
可是金祥甫一時籌不出錢，徐霞客等得不耐煩，就留下靜聞各處催款，自己拿了點散碎銀兩，帶著顧行去做環湘南遊。
這時正值明末動亂，土匪山賊橫行，山田荒蕪，旅途上險象叢生。由於民不聊生，主仆二人晚上投宿常被拒之門外，有時不得不與豬、牛共處一棚，有時沒有辦法，隻得住岩洞，甚至露宿山野，在風雨中度過饑寒交迫的夜晚。
再加上此時的徐霞客已進入暮年，健康狀況不佳，因此四十多天的環湘南遊，病的時間就有二十餘天。而早已將生死置之度外的他，卻愈艱難愈向前。
徐霞客在楚地旅行，時刻不忘搜尋當地的人文景觀、曆史掌故。過祁陽、永州、道州一帶時，雖然身體不適，他仍帶病探尋元結、柳宗元等先賢的遺跡。
唐代大文豪柳宗元曾被貶永州多年。彼時中國的經濟重心在北方地區，永州還是開發不足的蠻荒之地，雖山水幽奇雄險，卻是“養在深閨人未識”。
柳宗元在待罪期間百無聊賴，便到處遊覽，搜奇覽勝，借以開拓胸襟、排遣寂寞，尋求些精神上的慰藉。遊曆之餘，寫下了八篇著名的山水遊記。
徐霞客循著柳宗元的足跡，一一遊覽了各處景點。永州是柳宗元的傷心地，彼時徐霞客由先賢遭際想到家族的坎坷仕途，自己滿腔抱負無處施展隻能化作山海之遊，內心必有一番起伏吧！
三月二十四日，徐霞客來到了九嶷山。九嶷山，又名蒼梧山，得名於舜帝之南巡。因境內有舜源、娥皇、女英、杞林、石城、石樓、朱明、簫韶、桂林九座峰巒，且峰峰相似難以區別，故名九嶷。