현재는 조선시대의 사설교육기관인 소수서원이 1963년 사적(지정면적 7,504㎡)으로 지정되어 있으며, 사찰경내에 있었던 숙수사의 당간지주가 1963년 보물로 지정, 보호되고 있다.
이 숙수사가 언제 법통이 끊어졌는지 알길은 없으나 고려 후기의 학자인 안향(安珦)이 숙수사에서 수학하여 18세에 과거에 급제하였고, 그의 아들과 손자까지 이 숙수사에서 수학했다고 한다.
더구나 안향이 원나라로부터 주자학을 도입하여 이것이 조선 건국의 정신적인 이념이 되었으므로, 중종 때 풍기군수로 부임한 주세붕(周世鵬)이 1543년(중종 38) 안향의 고향이며, 또 안향이 공부했던 숙수사의 옛터에 사우(祠宇)와 강당을 세우고 유생(儒生)들을 공부하도록 하였다.
이것이 백운동서원(白雲洞書院)으로 우리나라 최초의 서원이 되었다. 이로 보아 숙수사는 통일신라시대에 처음 건립되어 고려시대까지 존속되어오다 조선시대의 어느 시기에 법통이 끊기고 터만 남아오다 1543년에 이 절터에 서원을 세운 것임을 알 수 있다.
1953년 현재의 소수서원 후편으로 소수중학교 운동장을 마련하다 청동불상 25구가 출토되었는데, 이 불상들은 모두 통일신라시대의 양식으로 밝혀졌다. 또 서원경내에 남아 있는 통일신라시대의 각종 석조물이 남아 있어 사찰의 규모와 존폐를 짐작할 수 있게 한다.