일제강점기 31본산이 지정된 때에는 건봉사(乾鳳寺)의 말사였다. 772년(혜공왕 8) 진표율사(眞表律師)가 창건하여 관음암(觀音庵)이라 하였고, 1358년(공민왕 7) 나옹왕사(懶翁王師)가 중건하였다.
1464년(세조 10) 왕이 나라의 동쪽지방을 순시하다가 명파리에 다다랐을 때 관음청조(觀音靑鳥)의 울음소리를 듣고 그 새소리를 좇아 이 절에 이르게 되었으므로 절 이름을 조제암이라고 고쳐 부르도록 하였으며, 명을 내려 절을 중건하게 하였다. 그 뒤 운곡대사(雲谷大師)가 중수하였고, 1896년 기월대사(機月大師)가 서쪽으로 5리 되는 곳으로 옮겨 중건하였으며, 1903년 다시 옛터로 옮겨지었다. 그 뒤 1910년에 선화대사(禪和大師)가 중수하였으며, 현재에는 북쪽 땅에 있어 그 상황을 알 길이 없다. 그러나 이 절은 창건 이후 관음기도처로서 참배객들의 발길이 끊이지 않았던 곳이다.