1348년(충목왕 4)에 지은 『봉상기(峰相記)』에 의하면 일본의 가공적인 인물 진구황후[神功皇后]가 신라를 침략하고 돌아올 때 신라의 왕자를 인질로 데리고 와서 이곳에 머무르게 하였는데, 왕자가 이곳에 작은 암자를 창건하고 천수다라니(千手陀羅尼)를 외면서 살았다고 한다.
이 창건설화의 신빙성은 미상이지만, 신라계통의 이주민이 창건한 것임은 절의 이름을 계족(鷄足 : 신라의 다른 이름인 계림에서 유래된 말)이라고 한 것으로도 알 수 있다.
1348년 당시의 당우로는 천수관음(千手觀音)을 모신 불전과 아미타불을 모신 상행당(常行堂) 등이 있었다. 특히, 일본의 대표적인 고승 구야[空也]와 쇼쿠[性空] 등이 수행하였던 곳으로도 유명하다.