고려 말에 이성계(李成桂)가 설봉산에 오백나한을 모시기 위하여 석왕사(釋王寺)를 창건할 때 이곳에 16나한을 봉안하여 창건했다는 설과, 인도에서 오백나한상을 옮겨 왔을 때 1나한을 이 절에 봉안하고 나한사라 했다는 설이 있다.
이 중 앞의 설이 더 신빙성이 있고 일반화되어 있다. 그 뒤 이 절에는 비구니들이 거처하면서 그 명맥을 유지하여왔다. 당우로는 나한전과 요사채가 있으며, 나한전 안에 봉안된 16나한의 영험이 크다고 하여 많은 기도객들이 찾았던 곳이다. 나한과 관련하여 전해지는 영험은 다음과 같은 사례들이 있다.
조선 중기 동짓날 늙은 비구니가 출타했다가 늦게 절에 도착하면서 불씨가 꺼져 있을 것을 걱정하였으나 부엌에는 솜뭉치불이 있었다.
이튿날 아래 민가에 들러 불씨를 가져다주어서 고맙다고 인사하자, 주인은 어젯밤 동자가 와서 솜 뭉치불을 얻어갔고 동자에게 동짓날이기에 죽 한 그릇을 주었다고 하였다. 절로 돌아와 나한상을 보니 한 나한의 입에 죽이 묻어 있었다 한다.
또한 절 뒤의 기둥 밑에 샘물이 있는데 불결한 이가 불공을 드리려고 절을 찾아오면 물이 나오지 않는다고 하며, 16나한에게 손가락질을 하면 손가락을 앓게 된다고 한다. 절 입구에 장승이 서 있는데, 이 장승 안으로 가축이 들어오면 모두 죽는다고 전하고 있다.