대한불교조계종 제3교구 신흥사의 말사인 낙산사의 부속암자이다.
676년(문무왕 16) 의상(義湘)이 관세음보살을 친견(親見)한 뒤 창건하였고, 전단향(栴檀香)으로 관음보살상을 만들어 모셨다.
1619년(광해군 11) 중건하였고, 1752년(영조 28) 진린(眞麟)이 중수하였으며, 1797년 혜민(惠旻)이 중건하였다. 1868년(고종 5) 장마로 말미암아 무너진 것을 이듬해에 의연(義演)이 중건하였고, 1911년 흥운(興雲)과 청호(晴湖)가 중수하였다.
근세에 편집된 사적기로는 기문(箕文)이 편집한 「낙산사관음굴중창기(洛山寺觀音窟重創記)」가 있는데, 창건 이후 관음굴은 해안도량(海岸道場)으로 널리 알려져서 많은 참배객들이 찾았으며, 해조음(海潮音)을 통하여 구고구난(救苦救難)하는 관세음보살의 대원(大願)이 토로되었다는 등 많은 영험담이 전한다.