初祖庵主体建筑有山门、大殿和千佛阁。山门，创建年代无考，当在金、元时期。现山门，1986年按旧制重修。面阔三间，进深两间，通高6.876米，为单檐悬山式建筑。前后檐不施斗栱，用中柱式构架，中间开口。在山门内、大殿前的甬道东侧有参天古柏一棵，传说为六祖慧能所栽种。
大殿创建于北宋宣和七年（1125年），历代每有修葺，紧张构件仍为北宋原物。它是河南省现存最古老的一座木石构造建筑，在建筑史上具极高代价。
大殿面阔三间，进深三间，单檐九脊殿。檐下用五铺作单抄单下昂，重拱计心造斗栱，屋面覆绿色琉璃剪边瓦顶，前后当心间有方形板门，前檐次间有方形直棂窗。殿内石柱上有“大宋宣和七年”的题迹。该殿创建韶光较《营造法度模范》颁行年代仅晚25年。虽经多次修葺，现仍可看出其梁架构造、斗栱比例多与《营造法度模范》同等，都是范例的宋代风格，为《营造法度模范》供应了实物证明。
殿房的石外槽柱、石内柱、裙墙、神台四周的精细浮雕等，均为宋代原物。当心间台明下设有石砌踏道，分旁边阶，中间的陛石（或称“御路”)为素面。踏道两侧壁面，做三角形象眼，分三层内凹的形式，由石材雕成，保存了我国宋代造殿之制中罕见的实物例证。
全体殿宇施八角石柱16根，殿内的4根金柱用高浮雕，刚柔融和。12根檐柱，除四根素面，别的8根和殿墙石护脚上面也饰有浮雕，画面有武士、游龙、舞风、莲、菊、卷草、飞天、坐佛、莲花化生、凤戏牡丹、孔雀穿花、群鹤闹莲等，工艺风雅，清秀俏丽。殿内神台须弥座束腰各面的石雕，内容包括人物、动物、花卉和山水等，画面非常丰富，造型生动，构思奥妙，意境悠远，刀法劲健，皆为北宋宣和七年（1125年）大殿创建时所刻，距今已有800多年，是少林寺石刻中的珍品，表示了宋代绘画和雕刻技艺的水平。初祖庵大殿东、北、西三壁上还绘有达摩以下25位禅宗祖师像，东壁10幅，北壁东侧2幅，西侧2幅，西壁11幅。绘制年代约在明末，形象朴实古拙。
千佛阁为明代初祖庵方丈福元创建。千佛阁前有北宋靖康元年（1126年）舍利石函一具，四面有线刻画。刀法流畅自若，堪为上品。庵院内尚有碑石40多通，个中著名的有宋黄庭坚《达摩颂碑》、宋蔡京《面壁之庵》，明刻《达摩面壁图》等。
初祖庵后、五乳峰中峰，有天然石洞达摩洞，传说是初祖达摩面壁九年修行处。洞外有明万历甲辰（1604年）建的石牌坊一座，为二柱单间庑殿顶形式。檐下用四攒斗栱，南面额枋题“默玄处”，北面额枋题“东来肇迹”。
1996年11月20日，初祖庵被中华公民共和国国务院公布为第四批全国重点文物保护单位。2010年8月1日，包含初祖庵在内的8处11项登封“天地之中”历史建筑群被列入天下文化遗产。（来源：嵩山少林景区）
