上寺在霍山最南的低巒上。寺前的“琉璃寶塔”，冗立山頭，由四五十裏外望之，已極清晰。
由下寺到上寺的路頗兜峻，盤石奇大，但石皮極平潤，坡上點綴著山鬆，風景如中國畫裏山水近景常見的布局，巒頂卻是一個小小的高原，由此望下，可看下寺，鳥瞰全景；高原的南頭就是上寺山門所在。山門之內是空院，空院之北，與山門相對者為垂花門。垂花門內在正中線上，立著“琉璃寶塔”。塔後為前殿，著名的宋版藏經，就藏在這殿裏。前殿之後是個空敞的前院，左右為廂房，北麵為正殿。正殿之後為後殿，左右亦有兩廂。此外在山坡上尚有兩三處附屬的小屋子。
琉璃寶塔
琉璃寶塔亦稱飛虹塔。就平麵的位置上說，塔立在垂花門之內，前殿之前的正中線上，本是唐製。塔平麵作八角形，高十三級，塔身磚砌，飾以琉璃瓦的角柱，鬥拱簷瓦佛像等等。最下層有木圍廊。這種做法，與熱河永庥寺舍利塔及北平香山靜宜園琉璃塔是一樣的。但這塔圍廊之上，南麵尚出小抱廈一間，上交十字脊。
從全部的權衡上看，這塔的收分特別的急速，最上層簷與最下層磚簷相較，其大小隻及下者三分之一強。而且上下各層的塔簷輪廓成一直線，沒有卷殺（Entagis）圜和之味。各層簷角也不翹起，全部呆板的直線，絕無尋常中國建築柔和的線路。
塔之最下層供極大的釋迦坐像一尊，如應縣佛宮寺木塔之製。下層頂棚作穹窿式，飾以極繁細的琉璃鬥拱。塔內有級可登，其結構法之奇特，在我們尚屬初見。普通的磚塔內部，大半不可入，尤少可以攀登的。這塔卻是個較罕的例外。塔內階基每步高六七十公分，寬十餘公分，成一個約合六十度的陡峻的坡度。這極高極狹的踏步每段到了終點，平常用休息板的地方，卻不用了，竟忽然停止，由這一段的最上一級，反身卻可邁過空的休息板，攀住背麵牆上又一段踏步的最下一級；在梯的兩旁牆上，留下小磚孔，可以容兩手攀扶及放燭火的地方。走上這沒有半絲光線的峻梯的人，在戰栗之餘，不由得不讚歎設計者心思之巧妙。