신라 때 선덕여왕이 비구니들을 위해 창건하여 영니사(盈尼寺)라고 했다. 1407년(태종 7) 전국 88개 자복사찰(資福寺刹) 중의 하나로 꼽혔으며, 이때의 이름은 빙산사였다.
그러나 1592년(선조 25) 임진왜란 때 권응수(權應銖) 장군에 쫓기던 왜군이 상주로 철수하면서 절을 불태워 폐사되었다. 그 뒤 복구되지 못한 채 있다가 1600년(선조 33) 장천서원(長川書院)이 이 절터로 이전해 왔다.
절터에는 1963년 보물로 지정된 의성 빙산사지 오층석탑이 있는데, 신라 말 고려 초의 것으로 추정된다. 원래 초층 탑신의 남면에는 감실이 있고 그 안에 금동불좌상이 안치되어 있었으나, 임진왜란 때 왜군이 훔쳐갔다고 전하며 지금은 다만 불좌대(佛座臺)만 빙혈(氷穴) 입구에 남아 있다.
1973년 이 탑을 해체 복원할 때 3층 옥개석 안의 석함(石函) 속에서 금동사리장치가 발견되어 서울의 국립중앙박물관으로 옮겨 갔다. 이 밖에도 절터의 북쪽 기슭에는 옛 부터 유명한 빙혈이 있는데, 봄여름의 평균 온도가 섭씨 영하 4도에 이른다.