대한불교조계종 제13교구 본사 쌍계사(雙磎寺)의 말사이다. 706년(성덕왕 5) 의상(義湘)이 창건하였다. 무이산은 삼국 시대부터 해동의 명승지로서 화랑들의 수련장으로도 널리 알려졌다.
창건에는 다음과 같은 설화가 전하고 있다. 의상이 남해 보광산(普光山 : 지금의 錦山)으로 기도하러 가던 길에 무선리의 민가에 묵게 되었다. 꿈속에 한 노승이 나타나서 내일 아침에 걸인을 따라서 보광산보다 무이산을 먼저 가보라고 하였다. 날이 새자, 걸인을 따라 무이산으로 가서 보니 눈앞에 수많은 섬들이 떠 있고, 남대·북대·동대·서대는 웅장한 바가 있어 마치 오대산의 중대(中臺)를 연상하게 하였다. 이 때 한 걸인이 또 나타나서 두 걸인은 서로 손을 잡으며 바위 틈새로 사라져버렸다. 의상이 석벽 사이를 살펴보았으나, 걸인은 보이지 않고 문수보살상만이 나타나 있었다. 꿈속의 노승은 관세음보살이고 두 걸인이 문수와 보현보살임을 깨달은 의상은 이곳에 문수암을 세웠는데, 지금도 석벽 사이에는 천연의 문수상이 뚜렷이 나타나 보인다.
창건 이후 이 암자는 수도도량으로서 많은 고승들을 배출하였다. 그러나 중창 및 중건의 역사는 전래되지 않고 있다.
현존하는 암자는 사라호 태풍 때 건물이 붕괴된 뒤에 지은 현대식 건물이며, 이 절에서 수도한 청담(靑潭)의 사리를 봉안하여 1973년에 세운 청담대종사 사리탑이 있다.