우암산은 와우산(臥牛山)이라고도 한다. 창건연대 및 창건자는 미상이나 유물 등을 통해서 볼 때 신라 말이나 고려 초에 창건되었으며, 고려 중기 이후에 번성하였다가 조선 중기에 이르러서 폐사된 것으로 추정된다.
1958년 이 절터에 법당·산신각·요사채 등을 신축하고 관음사(觀音寺)라 개칭하여 오늘에 이르고 있다. 현존하는 유물로는 요사채 공사 도중 발견된 철확(鐵鑊) 1개와 ‘桂香寺(계향사)’라는 명문이 새겨진 기와, 연화문 수막새 등이 있다.
그 가운데 철확은 입지름 132㎝, 높이 60㎝로서 솥의 형태는 법주사의 것과 흡사하고 크기는 그에 미치지 못한다. 명문기와는 이름을 알 수 없던 이 절터가 계향사라는 것을 밝혀준 유물로서, 수지문(樹枝文)의 중앙에 2행 횡서로 ‘桂香之寺(계향지사)’라는 양명(陽銘)이 있다.
연화문 수막새는 백제 와당을 많이 닮은 것으로 1976년에 수습되었으며, 우암산 일대에서 발견된 수막새 가운데에서 가장 특징 있는 와당이다.