1675년(숙종 1)에 지방유림의 공의로 서침(徐沈)의 학문과 덕행을 추모하기 위해 연구산(連龜山) 기슭에 창건하여 위패를 모셨다.
1718년에 현재의 위치로 이건하고 서거정(徐居正)을 추가배향하였으며, 1741년에 서성(徐渻), 1757년에 서해(徐嶰)를 추가배향하였다. 선현배향과 지방교육의 일익을 담당하여오던 중, 흥선대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었다.
그 뒤 1924년 유림에 의해 복원되었으며, 1943년에 숭현사(崇賢祠)와 강당을 중수하고 1974년에 보수하여 오늘에 이르고 있다. 경내의 건물로는 3칸의 숭현사, 3칸의 신문(神門), 5칸의 강당 등이 있다.
사우인 숭현사의 중앙에는 서침과 서거정의 위패가, 오른쪽에는 서해, 왼쪽에는 서성의 위패가 각각 봉안되어 있다. 강당은 중앙의 마루와 양쪽 협실로 되어 있는데, 원내의 여러 행사와 유림의 회합 및 학문의 토론장소로 사용된다. 매년 9월 1일에 향사를 지내고 있으며, 경비는 자손들에 의해 충당되고 있다.