원래는 신불습합(神佛習合)의 사상으로 인하여 고구려왕족의 후예들이 세운 고려신사의 경내에 있었다.
사전(寺傳)에 의하면, 8세기경 법상사(法相寺)의 한 승려가 천수관음보살상(千手觀音菩薩像)을 봉안하고 창건하였다는 설과 다카노조[鮹之丞]라는 어부가 오이소의 앞 바다에서 그물로 천수관음보살상을 건진 뒤 고려산에 안치하기 위해서 창건하였다는 설이 있다.
그러나 이곳은 고구려 왕족인 약광(若光)의 일족이 이주해 와서 개척하고 정착한 곳이며, 이곳의 지명과 신사명이 ‘고려‘인 것을 감안한다면 이 사찰의 창건 또한 고구려의 유민들에 의한 것임을 추정할 수 있다.
가마쿠라시대(鎌倉時代)에는 장군(將軍)의 집안을 중심으로 많은 사람들이 이 절의 신도가 되었는데, 1192년 고시라카와왕[後白河王]의 49재와 1주기 재를 이 절에서 지냈다.
그리고 도쿠가와막부(德川幕府)도 이 절을 지극히 중요시하여 고려산과 전지(田地) 100석(石)의 밭을 사원에 영지(領地)로 주고 경내를 신성한 지역으로 정하여 보호하였다.
그러나 메이지시대(明治時代)에 이르러 유신정부의 강력한 신불분리(神佛分離)의 정책으로 절은 폐사되었고, 현재는 고려신사만이 남아 있다.