745년(경덕왕 4) 고달(高達)이 창건하였다. 고달은 원래 사냥꾼이었다. 어느 날 사슴 한 마리를 쏘았는데, 살을 맞고 달아나버렸다. 사냥꾼이 피를 흘린 자국을 따라 가보니 불상을 모신 굴이 있었고, 그 불상에 화살이 꽂혀 있었다.
고달은 자기가 살생을 많이 하는 것을 훈계하기 위하여 부처님이 사슴으로 변신해서 자기를 인도한 것임을 깨닫고, 그 자리에서 활과 살을 꺾어버린 뒤 참선수도 하여 고승이 되었다고 한다. 일명 고달굴이라고도 부르는 이 절은 높이 6m, 너비 15m, 깊이 9m의 암굴이다.
창건 이후의 역사는 전해지지 않고 있으나, 굴 안에는 관음조(觀音鳥)라고 불리는, 다른 곳에서 볼 수 없는 새가 많이 서식하고 있다. 또, 절 앞에는 높이 2m, 둘레 6m의 바위가 있는데, 바위 아래에는 구멍이 뚫려 있고, 그 구멍에서 절의 식솔들이 먹을 만큼의 쌀이 나왔다고 한다.
한 승려가 많은 쌀을 얻어서 부자가 될 욕심으로 바위 구멍을 넓혔으나, 쌀은 나오지 않고 바위는 300m 아래쪽 굴곡천(屈谷川)으로 굴러 떨어졌다. 이 사실을 안 산신령이 동촌면 일대에 있는 소들의 혼을 뽑아 모아, 다시 고달사 앞으로 끌어올려 지금에 이른다고 한다.