1707년(숙종 33)에 지방유림의 공의로 곽안방(郭安邦) · 곽지운(郭之雲) · 곽규(郭赳) · 곽황(郭趪)의 학문과 덕행을 추모하기 위하여 창건하여 위패를 모셨다.
선현배향과 지방교육의 일익을 담당하여오던 중 1868년(고종 5)에 대원군의 서원철폐령으로 훼철되었다가 1945년 복원하였다. 경내의 건물로는 3칸의 청백사(淸白祠), 6칸의 경렴당(景廉堂), 신문(神門), 읍청루(挹淸樓), 4칸의 고사(庫舍) 등이 있다.
사우(祠宇)인 청백사에는 곽안방 · 곽지운 · 곽규 · 곽황의 위패가 봉안되어 있으며, 강당인 경렴당은 중앙의 마루와 양쪽 협실로 되어 있는데, 원내의 여러 행사와 유림의 회합 및 학문강론장소로 사용되고 있다.
읍청루는 대문이며, 고사는 향사 때 제수(祭需)를 마련하여두고, 평소에는 고자(庫子)들이 거처하는 곳으로 사용하고 있다. 현풍곽씨 문중서원으로 매년 2일 중정[中丁 : 두번째 丁日]과 8월 중정에 향사를 지내고 있으며, 제품(祭品)은 4변(籩) 4두(豆)이다. 재산으로는 전답 5,000평, 대지 550평 등이 있다.