신라의 고승 자장이 수도를 한 곳으로 그의 속명 선종(善宗)을 따서 선종암(善宗庵)이라고 했다고 전하고 있다. 그러나 자장이 활동할 당시 이곳은 백제의 영토였기 때문에 신라 승려가 절을 세울 수 있는 여건은 없어 보인다. 사찰의 자세한 연혁은 전하지 않는다. 다만 고려시대의 것으로 추정되는 3층 석탑이 있으며 조선 후기에 편찬된 『호남읍지(湖南邑誌)』에 선종암(善宗庵)이 실려 있어서 그 존재를 살필 수 있을 뿐이다. 일제강점기인 1914년 천방산과 설림산의 골짜기를 가로막아 수원지를 조성하였는데 이때 절 전체가 수몰되었다. 이 절에 있었던 3층 석탑(본래 5층 석탑으로 추정)은 군산시 소룡동 은적사에 옮겨 세워져 있다.