崇禎十年（1637 年）正月十九日，徐霞客從攸縣進入衡山縣境，對衡州地區進行考察。據他的《楚遊日記》記載，他先後遊曆了今衡陽市祁東、耒陽各縣，三進三出衡州府，記錄了衡州地理概況，描述了山川名勝，敘說了風土人情。
南嶽衡山為我國五嶽名山之一，自然是徐霞客重點考察的對象。其主峰祝融峰在湖南省衡陽市南嶽區境內，七十二峰，群峰逶迤，其勢如飛。素以“五嶽獨秀”“祭祀靈山”“宗教聖地”“中華壽嶽”“文明奧區”等名號著稱於世。
“南嶽”一詞，始於春秋戰國時期。《周禮·虞書》雲：“（舜）五月南巡狩，至於南嶽。”以南嶽稱謂衡山，最早見諸文字是漢初《爾雅》，其《釋山》篇有“江南衡”之說，意指江南衡山，後《尚書·大傳》中解《虞書》雲：“南嶽，衡山”。
但是據《周禮·職方氏》《春秋》《星經》等典籍介紹，對南嶽衡山的來曆另有一番解釋，它是按星宿的劃分，說這地方上承軫宿玉衡星，所以叫衡山。衡山因地處五嶽的最南端，故名“南嶽”。
徐霞客從小就懷有遊遍五嶽的壯誌，青壯時先後登臨泰、華、嵩、恒四嶽，直到此時，才終於來到南嶽，圓滿實現了自己的理想，心中自然非常激動。
正月二十一日，徐霞客入謁嶽廟。嶽廟，即南嶽大廟，江南第一廟。它是中國南方最大的廟宇，是一個集國家祭祀、民間朝聖、道教宮觀、佛教寺院於一體的宮殿式古建築群，是南方最大的傳統文化博物館和精湛的藝術殿堂。
南嶽大廟位於南嶽古鎮北端，赤帝峰下。它有九進四重院落，占地麵積十二萬平方米，布局嚴謹，氣勢恢宏。南嶽廟本在祝融峰上，為方便國家祭祀與民間朝聖，隋代移至山下。
據《南嶽誌》記載，唐初建司天霍王廟。唐玄宗開元十三年（725 年），由唐玄宗詔建南嶽真君祠。唐玄宗天寶五年（746 年），唐玄宗封南嶽真君為司天王，於是廟製按王宮規模增修，至唐肅宗時即有相當規模。