대한불교조계종 제19교구 본사인 화엄사(華嚴寺)의 말사이다.
644년(선덕여왕 13) 원효(元曉)가 창건하여 원통암(圓通庵)이라 하였으며, 958년(광종 9)에 윤필(輪弼)이 중창한 뒤 금오암이라 하였다. 임진왜란 때에는 승군의 본거지로 사용되었으며, 1849년(헌종 13) 무렵에 현 위치로 자리를 옮기고 책륙암(冊六庵)이라 하였다가 근대에 이르러 경봉(鏡峰)이 절 뒷산에 있는 바위가 거북의 등처럼 생겼다 하여 영구암(靈龜庵)이라 하였다. 향일암으로 개칭한 것은 최근이며, 이곳에서 볼 수 있는 해 뜨는 모습이 아름답다고 하여 붙여진 이름이다. 1925년 최칠룡(崔七龍) 주지가 산신각 · 취성루(就成樓) 등을 지었고, 1961년에는 박영주(朴永柱) 주지가 법당과 여러 전각을 중수하였다. 1970년 박천수(朴千壽) 주지가 취성루를 개수하였고, 1984년에 종견(宗見)이 칠성각과 종각을 중창하였다.
이어서 1986년에 대웅전을, 1987년에 삼성각을, 1990년에 용왕전을, 1991년에 관음전을 중건하여 오늘에 이른다.
현존하는 당우로는 대웅전을 비롯해서 관음전 · 용궁전(龍宮殿) · 삼성각 · 요사 등으로 이루어져 있다. 양양 낙산사, 남해 보리암, 강화 보문사와 더불어 우리나라 4대 해수관음기도도량으로 꼽힌다. 이곳은 해상 일출을 마음껏 즐길 수 있는 곳이며, 그 위치는 거북이 바다 쪽으로 팔을 휘저으며 들어가고 있는 형상을 취하고 있는 것이라 한다. 절 뒷산의 정상 부근에는 한 사람이 흔들거나 열 사람이 흔들거나 그 흔들림이 일정한 흔들바위가 있다. 절 일원이 1984년 전라남도 문화재자료(현, 문화유산자료)로 지정되었다.