“岩壑深嚴入翠微，少林金碧霧煙扉。五峰屏簇禪庵小，萬仞天開佛日輝。聞說九年空麵壁，得逢二祖便傳衣。千秋少室山靈在，曾見先師隻履歸。”
有關少林寺的古詩中，大多語涉佛祖麵壁悟禪之事，很少見到談武的字句。作為佛教禪宗的祖庭，流傳最廣的還是達摩初祖“一葦渡江”、“九年麵壁”、“隻履西歸”這樣的故事。至於禪武雙修，“十三棍僧救秦王”則是後來之事。當今少林因武術而名動全球的情景，則是達摩無論如何也想象不到的。
公元495年（北魏太和十九年），北魏孝文帝為印度高僧跋跎在嵩嶽少室山下建造了少林寺院。公元527年（北魏孝昌三年），菩提達摩來到少林寺，在此廣聚僧眾，傳授佛教禪宗。唐朝時期，少林寺得到朝廷厚遇，聲名日盛，曾經擁地萬畝，殿堂房舍達五千餘間，成為馳名海內外的佛教大寺。
現存的少林寺常住院麵積達3萬多平方米，居於中軸線位置上的主要建築依次為山門，天王殿，大雄寶殿，法堂，方丈室，立雪亭，千佛殿。山門額上的“少林寺”三字為清康熙皇帝禦書，並有“康熙禦筆之寶”方印。過山門向後行，可以看到碑林和碑廊，存有曆代碑刻141通。蔡京、米芾、趙孟、董其昌等書法名家均列其中，具有極高的藝術價值。
少林寺最大的佛殿為千佛殿，因為殿壁上繪有巨型壁畫五百羅漢而得名。壁畫高7?郾5米，長為42米，麵積達320平方米，為世所罕見的藝術珍品。
少林寺建築群中的初祖庵建於公元1125年（北宋宣和七年），是為紀念達摩初祖麵壁求法而建。初祖庵大殿的梁架結構、鬥栱比例、細部做法都與宋代官製建築方法和標準《營造法式》相契合。它是研究《營造法式》和宋代木構建築技法的最佳實例。