會稽郡曆史悠久，因會稽山而得名。上古時期，夏禹（即大禹）曾在此地大會諸侯，“會稽”（聚而考察的意思）之名正是由此而來的。夏禹死後也葬於此地。春秋時期，越王勾踐臥薪嚐膽的故事也發生在這裏。秦始皇統一全國後，在會稽設郡。為了顯揚功績，秦始皇曾到各地巡遊。據《史記》記載，公元前210 年，秦始皇曾在會稽祭拜夏禹，並立下頌德碑。司馬遷年輕時也曾來會稽探尋過大禹的墓，並將秦始皇所立碑石的碑文詳記於《史記》中。
會稽山清水秀，自古以來就是文人名士聚集的樂土。
東晉時期，雲集於會稽的重要文人及隱士，有謝安兄弟、王羲之父子、許詢、支遁等人。
王羲之擔任會稽內史時，看到會稽的山川如此俊秀，而且名士聚集，非常歡喜，因此，當他對官場感到厭倦的時候，便會與一群好友來此遊玩；時間一長，便有了終老於此的念頭。他和一些好友賞花飲酒、談論詩書，話題從不涉及朝政。
會稽名士中以謝安最為傑出。謝安是王羲之的好友之一，出身於東晉四大家族之一的謝氏家族。他的兄弟等人都是官場顯要，可以說是一門富貴，但是，他卻對政治從不過問，生活得悠然自得。他終日在山水之間怡然自得，其他時間便在家中或王羲之等友人的住處舞文弄墨，全無半點想要入朝為官的意思。朝廷曾經多次邀請他，他都一一婉拒。夫人曾問他：“你不打算做官嗎？”他回答說：“恐怕終究還是免不了的。”等到他的弟弟被罷黜，他才有出仕之意，當時他已經四十多歲了。他每次和王羲之等人一同去郊遊，都要帶著歌伎，在山水間吟詠。
有一次，謝安和孫綽等人泛舟於海上，忽然間狂風大作，白浪滔天，大家都嚇得麵無血色，而謝安卻泰然自若。