二祖庵位于少林寺，具体地址是登封市少林寺旅游景点常住院对面的少室山钵盂峰顶，为了避免出现因为不熟悉而迷路，可以提前使用导航软件进行搜索并将结果截图以便随时查看或询问当地人。
二祖庵位于少林寺常住院对面的钵盂峰顶。因庵与其北的初祖庵相对，故当地人称之为“南庵”。它是少林地区地势最高的一座古建筑。据旧志载，相传禅宗二祖慧可立雪断臂后到钵盂峰顶养伤修炼，后寺僧为纪念二祖慧可而建此庵。庵创建的年代大致和初祖庵同时，为北宋后期。
二祖庵坐北向南，它原是一座完整的四合院，前有山门，东西有配殿，北有正殿。山门内供韦驮，亦称韦驮殿；西配殿内供紧那罗，亦称紧那罗殿；东配殿内供菩萨，亦称菩萨殿。山门及东西配殿早已毁，仅存正殿。正殿名二祖殿，为硬山式建筑，面阔三间，前檐下有明柱两根。今存殿堂应为明嘉靖四十四年重修留下的殿堂。殿内供二祖慧可塑像。二祖庵在明嘉靖、万历、天启、崇祯及清康熙、道光时曾修。1988年，又重修二祖庵大殿，1990年又在原山门处建门庭式简易门一座，并重建了围墙。
在二祖庵殿东檐下有明代天顺六年（1462年）正月铸造的大铁钟一口，为二祖庵住持僧江耐化缘铸造。大钟周围铸有铭文，钟重一千斤，有八唇，刻八卦。此钟至今保存完好，钟声响亮。
近年庵周边恢复了围墙。庵内还保存明清古碑九通。二祖庵前有建于唐万岁登封元年（696年）的无名塔、元代泰定元年（1324年）的缘公庵主之塔以及明崇祯二年（1629年）的隐光璞公之塔等三座古塔。在二祖庵院内存有明嘉靖、万历、天启、崇祯及清康熙、道光石碑九通，都为记载重修二祖庵的碑刻。
二祖庵院内有古柏多株及古井四眼。四眼古井传说为二祖慧可卓锡而成，因名“卓锡井”或“卓锡泉”。据旧志载，四井水味各异，故当地群众称之为“苦、辣、酸、甜”四眼井，至今有700年的历史。庵南约500米处有一高突的山崖，晴天在台上举目可望伊河、洛河和黄河。
