明神宗萬曆四十二年（1614 年），徐霞客遊覽了家門口附近的揚州、南京等地，還參觀了瘦西湖。萬曆四十四年，徐霞客已經三十歲。此後三年，他兩度踏上徽州這方土地，二攀黃山、兩上齊雲，這在他一生的旅行生涯中是絕無僅有的。
徐霞客一生重複去過的山隻有齊雲、黃山、天台、雁**四座。由此可以看出齊雲山在他心中的地位。齊雲山位於今天的安徽省休寧縣，古稱白嶽，與黃山南北相望，風景綺麗，素有“黃山白嶽甲江南”之譽。明代大戲劇家湯顯祖曾作過一首詩：欲識金銀氣，多從黃白遊。
一生癡絕處，無夢到徽州。
“黃白遊”，黃指黃山，白指白嶽。白嶽為什麽後來改稱齊雲山呢？明代嘉靖時期，明世宗因年過三旬還未生龍子，便命龍虎山正一派第四十八代天師張彥在白嶽為他建醮求子。建醮就是做道場，結果應驗，嘉靖喜得龍子。
因為嘉靖皇帝看到白嶽的最高峰如“一石插天，直入雲端，與碧雲齊”，就開了金口，把白嶽改成了齊雲山。齊雲山大部分山峰的高度在五百八十米上下，山幾乎是平地而起，巍峨壯觀。
明代唐寅有詩雲：
齊雲山與碧雲齊，四顧青山座座低。
隔斷往來南北雁，隻容日月過東西。
齊雲山由中生代晚期白堊紀的陸相紅色岩係組成。它們堆積在斷陷盆地中，岩性強弱相間，岩層傾角不大，富有垂直節理。由於地處北半球亞熱帶氣候環境，高溫多雨，直接出露於地麵的紅岩，在風化和流水割切與散流衝蝕作用下，形成了“丹霞地貌”。
齊雲山又是道家的“桃源洞天”，為著名道教名山之一，以山奇、水秀、石怪、洞幽著稱。俯瞰齊雲山山腳下，有一條像青羅玉帶的江叫橫江，這是新安江上遊的一段。江水流過山根處正好轉了個“S”彎，劃出了陰陽兩極，那兩處山村恰似陰陽兩極的眼，這就是被稱為天下奇觀的“天然太極圖”。