사전(寺傳)에 의하면, 이 절은 스이코왕[推古王]의 원에 따라 쇼토쿠태자[聖德太子]와 함께 백제에서 건너간 혜총(惠聰) · 도흔(道欣) · 관륵(觀勒) 등이 중심이 되어 백제의 용운사(龍雲寺)를 모방하여 창건하였다고 한다.
그러나 『담해온고록(淡海溫故錄)』에는 665년 백제의 왕자가 일본에 갔을 때 수행원들과 함께 이곳에 거처하도록 했다고 하여 절의 이름이 백제사로 불리게 되었다고 하였다.
창건된 시기는 확실하지 않으나 『태자전고금목록초(太子傳古今目錄抄)』에도 이 사찰의 이름을 일본식으로 발음하여 구다라사(俱多羅寺)라고 하였음을 찾아볼 수가 있고, 또 일련의 태자전(太子傳)의 주석서인 『법공초(法空抄)』 · 『중회초(重懷抄)』 · 『송예초(松譽抄)』 등에서는 이 절을 쇼토쿠태자가 창건한 46원(院) 중의 하나로 꼽고 있는 것으로 보아, 이 사찰의 창건은 아스카시대[飛鳥時代]에 이루어진 것으로 추정된다.
그리고 일본 천태종(天台宗)의 개조(開祖)인 최증(最證)이 이 사찰을 중흥시켰을 때에는 칠당가람(七堂伽藍)이었고, 600여 승방(僧房)을 갖춘 대찰로서 승려들도 무려 1,000명이 거주하고 있었다고 한다.
1498년 ·1503년 ·1577년 등 세 차례의 화재로 말미암아 건물과 보물은 거의 소실되고 말았으나, 다행히 현재 본존으로서 봉안되어 있는 십일면관음보살상은 피해를 입지 않고 오늘날까지 보존되고 있다.
그리고 그 밖의 불상으로는 금동의 미륵반가사유상이 있는데, 이 불상은 교토[京都]의 고류사[廣隆寺]에 봉안되어 있는 미륵반가사유상과 동일한 형태의 것이다. 백제의 불상과 동일한 형태의 불상이 이 절에 안치되어 있다는 사실은 이 사찰이 백제인들에 의하여 이루어지고 신앙화되고 있었음을 입증하는 것이다.
그리고 그 일대에 정착하여 번창했던 신라 계통의 하타씨족[秦氏族]과도 이 사찰은 밀접한 관련성을 가졌을 것으로 추정된다. 왜냐하면, 이곳에 거주한 하타씨족은 에치하타씨[依智秦氏]라 하였고, 이곳을 에치군[愛知郡]이라 하였던 것도 바로 하타씨족의 그 에치[依智]에서 유래한 것이기 때문이다. 실제로 백제 계통의 이주민들은 백제가 신라로부터 멸망당한 뒤 이 지역으로 대거 유입하여 정착하였다.
그 예로서 이들의 지도자였던 귀실집사(鬼室集斯)의 묘가 이곳에서 얼마 떨어지지 않은 오노[小野]라는 지역에 있다. 이 사찰이 신라와 백제 계통의 씨족들과 밀접한 관련성을 지니고 있었음은 분명하다. 현재 이 절에는 에도시대[江戶時代]에 건립된 본당을 비롯하여 적문(赤門) · 극락교(極樂橋) · 본방(本坊) · 인왕문(仁王門) 등의 건물이 있다.