고려시대에 창건하여 조선시대에 폐허화되었다가, 1931년 수구면 내 유지들의 지원을 얻어 중수하였다. 이 절의 관음당은 자연의 바위굴을 이용한 색다른 구조를 보이고 있으며, 내부에는 관음보살상이 봉안되어 있다.
절의 아래 절벽에서는 약수가 흘러내리는데, 절 이름과 관련된 설화가 전한다. 약수가 흘러나오는 석혈(石穴)에서 옛날에는 샘물이 아닌 쌀이 나왔는데, 절에 머무르는 승려들이 먹을 수 있을 만큼의 양이 매일 흘러나왔다.
어느 때 욕심 많은 주지가 쌀이 나오는 구멍에 손을 넣자, 구멍 속에서는 까투리 한마리가 나와서 날아갔으며, 그 때부터 쌀 대신 물이 흘러나왔다고 한다. 그 뒤 까투리(가토)가 날라 갔다고 하여 절 이름을 가토사로 지었다고 전한다.