고방사(古方寺·古芳寺)라고도 표기한다. 대한불교조계종 제8교구 본사인 직지사(直指寺)의 말사이다. 418년(눌지왕 2) 아도(阿度)가 창건하였다고 전한다. 그 뒤 1636년(인조 14) 옥청(玉淸)이 적묵당을, 현철(玄哲)이 설선당을, 그리고 1656년(명종 11) 학능(學能)이 청원루를 지었다. 현재의 건물은 1719년(숙종 45) 수천(守天)이 옮겨서 중창한 것이다.
원래의 절터는 현재의 위치에서 동남쪽으로 약 1㎞ 떨어진 곳에 있는 약수터 자리에 있었는데, 그곳에 빈대가 많아서 사람이 머무를 수 없었으므로, 법당인 보광전(普光殿)을 헐어 현재의 자리로 옮겨 짓고 나머지 건물은 모두 불태웠다고 한다. 그 뒤 1923년 벽암(碧巖)이 중창하였고, 1981년부터 법전(法田)이 감로당을 이전하였으며 관음전·삼성각·향로실·사천왕문·범종각·청원루를 새로 짓고 보광명전을 복원하여 오늘에 이르고 있다.
규모가 큰 보광명전 안에는 목조삼존불이 봉안되어 있는데, 그 수법이나 정교함으로 보아 고려 말 또는 조선 초의 작품으로 추정된다. 법당 안에는 지름 1.8m, 둘레 4m에 이르는 조선 중기의 법고와 경명(經名)을 판단할 수 없을 만큼 부식이 심한 경판(經版)이 있다.
보광전 지붕에는 청기와 3장이 덮여 있는데, 청기와는 큰 건물의 낙뢰를 방지하는 구실을 해준다고 전한다. 원래 절이 있던 자리에는 어떠한 불치의 병이라도 치료할 수 있다는 약수가 있다. 갖가지 금기를 지키고 백일 동안 약수를 먹으면 효험을 볼 수 있다고 하나, 백마산의 산신이 엄하여 금기를 범할 때 반드시 벌을 내린다고 하여 함부로 먹는 사람이 없다고 한다.