927년에 창건되어 혜인선사(慧因禪寺)라 하였다. 고려 때 의천이 이곳에서 『화엄경』을 배우고 귀국하여 『금장경(金藏經)』 500부를 보내고, 또 중창을 도운 뒤부터 항주 고려사라고 하였다. 화엄조사(華嚴祖師)인 정원법사(淨源法師)를 찾아 의천이 이 절에 머문 것은 1085년(성종 2)이었다. 의천은 정원에게서 화엄교학을 배웠다. 당시 고려사는 퇴락하여 있었는데, 고려 왕자인 의천이 많은 건물을 세웠다.
의천이 재건한 이 절의 건물은 대웅전·윤장전(輪藏殿)·천왕전(天王殿)·묘응전(妙應殿)·천불각(千佛閣)·화엄경각(華嚴經閣)·칠조당(七祖堂)·종루(鐘樓)·가람당(伽藍堂)·고려사(高麗祠)·벽선각(碧鮮閣)·선당(禪堂) 등이 있었다. 화엄경각은 고려국의 칙명에 따라 금자화엄경(金字華嚴經)을 봉안하기 위하여 건립한 것이다. 또한 고려사에는 의천의 소상(塑像)을 봉안하였다. 뒷날 이 절은 몇 차례에 걸친 병화로 인하여 참화를 입었다. 1757년에는 청나라의 황제가 친히 고려사에 이르러 법운사(法雲寺)라 사액하였다. 1920년대에 신건식(申健植)이 당우를 수리하고 다시 절 이름을 고려사로 고쳤다.
이 절에는 의천의 소상과 관련된 전설이 전해지고 있다. 어느 날 장씨(張氏)라는 사람이 절 근처 밭에서 일을 하다가 갑자기 큰 흙 담이 무너져 그 속에 3일 동안 갇혔다. 비몽사몽간에 금관을 쓰고 중국옷을 입은 선인(仙人)이 와서 그를 구해 주고 사라졌다. 장씨는 이상하게 여겨 황폐한 절터를 방황하다가 의천의 소상이 그 선인과 비슷한 것을 보았다. 이에 그 은혜에 보답하고자 10여 칸의 전각을 세우고 소상을 봉안, 그것이 현재까지 전해지고 있다.