대한불교조계종 직할교구 본사인 조계사(曹溪寺)의 말사이다. 법당 뒤의 암벽에는 깊은 굴이 있는데, 이성계(李成桂)가 등극하기 전에 이 굴 속에서 수도하고 뜻을 이루었으므로, 1396년(태조 5)에 혜철(惠哲)에게 명하여 절을 짓게 하고 달마(達磨)가 9년 동안 면벽좌선(面壁坐禪)한 숭산(崇山) 소림사의 이름을 따서 소림굴(少林窟)이라고 하였다.
그 뒤 기도 및 수행처로서 전승되어오다가 1817년(순조 17)에 관해(觀海)가 중건하고 소림사라 하였으며, 1913년에 두삼(斗三)이 큰방을 지어 오늘에 이르고 있다.
조선 초기에는 교종(敎宗)에 속하였으나 근대에 불교정화운동이 일면서 선종사찰로 바꾸었으며, 현재는 비구니들의 수도처로 이용되고 있다. 현존하는 당우로는 대웅전과 삼성각(三聖閣)·종루(鐘樓)·요사채 등이 있으며, 대지가 협소한 관계로 가람의 배치가 일렬로 되어 있다.