조선시대에 지방 유림의 공의로 변계손(卞秀孫)·김유용(金有庸)·이완(李完)·김생명(金生溟)·박사희(朴士熹)·유빈(柳贇)·윤의정(尹義貞)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
당시의 경내 건물로는 사우(祠宇)인 숭렬사(崇烈祠), 강당인 경모당(敬慕堂)을 비롯하여 동재(東齋)·서재(西齋)·전사청(奠祀廳)·신문(神門)·정문 등이 있었다. 선현 배향과 지방교육의 일익을 담당하여 오던 중 대원군의 서원철폐령으로 1868년(고종 5)에 훼철된 뒤 지금까지 복원하지 못하였다.