일제강점기에는 유점사(楡岾寺)의 말사였다. 처음 암자가 세워진 연대 및 창건자는 알 수 없으나, 1366년(공민왕 15)에 나옹조사(懶翁祖師)가 남쪽 바위에 매우 웅장한 불상 3구를 새긴 것으로 보아 창건을 고려 말 이전으로 추정할 수 있다.
그 뒤 1632년(인조 10)에는 청허(淸虛)의 부도비(浮屠碑)가 세워졌고, 1645년에도 편양(鞭羊)의 부도비가 세워졌다. 이 절은 조선 중기의 고승 서산대사 및 편양과 매우 깊은 인연을 지닌 사찰로서, 서산대사를 달리 백화도인이라고 하는 것은 이 절에 오래 머물렀기 때문이다.
1837년(헌종 3)에는 허백(虛白)의 부도비가, 1843년에는 풍담(楓潭)의 부도비가 각각 건립되었다. 1845년에는 원섬(圓暹)이 시주하여 암자를 중건하였으며, 1869년(고종 6)에 완성(玩星)과 월하(月河) 두 승려가 고승의 초상을 모시는 영각(影閣)을 건립하였다. 그리고 1914년 3월 8일에 소실되어 다시 중건하였다.