대한불교조계종 제3교구에 속하는 백담사(百潭寺)의 부속 암자이다.
643년(선덕여왕 12)에 창건하여 관음암(觀音庵)이라 하였으며, 1548년(명종 3)에 보우(普雨)가 중건하였다. 이 암자를 오세암이라고 한 것은 1643년(인조 21)에 설정(雪淨)이 중건한 다음부터이며, 유명한 관음영험설화가 전해지고 있다.
설정은 고아가 된 형님의 아들을 이 절에 데려다 키우고 있었는데, 하루는 월동 준비 관계로 양양의 물치 장터로 떠나게 되었다. 이틀 동안 혼자 있을 네 살짜리 조카를 위해서 며칠 먹을 밥을 지어 놓고는, “이 밥을 먹고 저 어머니(법당 안의 관세음보살상)를 관세음보살, 관세음보살 하고 부르면 잘 보살펴 주실 것이다.”고 하는 말을 남기고 절을 떠났다.
장을 본 뒤 신흥사까지 왔는데 밤새 폭설이 내려 키가 넘도록 눈이 쌓였으므로 혼자 속을 태우다가 이듬해 3월에 겨우 돌아올 수 있었다. 그런데 법당 안에서 목탁소리가 은은히 들려 달려가 보니, 죽은 줄만 알았던 아이가 목탁을 치면서 가늘게 관세음보살을 부르고 있었고, 방 안은 훈훈한 기운과 함께 향기가 감돌고 있었다.
아이는 관세음보살이 밥을 주고 같이 자고 놀아 주었다고 하였다. 다섯 살의 동자가 관세음보살의 신력으로 살아난 것을 후세에 길이 전하기 위하여 관음암을 오세암으로 고쳐 불렀다고 한다.
그 뒤 1888년(고종 25) 백하화상(白下和尙)이 중건하였다. 당시 법당을 2층으로 짓고 박달나무로 기둥을 세웠는데, 매끄럽기가 부드러운 명주옷으로 문질러도 결이 일어나지 않을 정도였다고 한다.
이 절은 수선도량(修禪道場)인 동시에 유명한 기도도량으로 손꼽힌다. 아늑한 맛으로는 설악산 내 사찰들 중에서 제일이며, 많은 고승들이 주석했던 곳이기도 하다.
김시습(金時習)이 승려가 된 뒤 머물렀던 곳이고, 조선 중기 불교의 부흥을 꾀하다 순교한 보우가 수도하였으며, 근대의 고승이자 시인이요 독립운동가였던 한용운(韓龍雲)이 머물렀던 곳이다. 특히, 김시습과 한용운이 이곳에 머물면서 『십현담(十玄談)』의 주석서를 쓴 것은 매우 유명하다.
현존하는 당우로는 법당과 승방 · 객사, 새로 지은 산신각이 있고, 옛 절터가 근처에 있어 석물(石物) 등이 남아 있다. 이곳에서 약 2㎞ 떨어진 곳에는 마등령이 있다.