1598년(선조 31)에 지방유림의 공의로 백인걸(白仁傑)의 학문과 덕행을 추모하기 위해 사우(祠宇)를 창건하여 위패를 모셨다. 그 뒤 유생 정재심(鄭在心)이 사액을 청하는 상소를 올렸으나 뜻을 이루지 못하고 철폐되었으며, 그 자리에는 유허비(遺墟碑)를 건립하였다.
1924년에 유생 50여 명이 뜻을 모아 서원을 복원하고, 김행(金行)·조감(趙堪)·신제현(愼齊賢)·백유함(白惟咸)을 추가배향하였다. 경내건물로는 6칸의 사우, 내신문(內神門), 동서 협문(夾門), 3칸의 정륜당(正倫堂), 외신문(外神門) 등이 있다.
사우에는 백인걸을 주벽(主壁)으로 김행·백유함·조감·신제현의 위패가 배향되어 있다. 강당인 정륜당은 2칸의 마루와 1칸의 온돌로 되어 있는데, 원내의 여러 행사와 회합 및 학문강론장소 등으로 사용되고 있다.
이 서원에서는 매년 9월 9일에 향사를 지내고 있으며, 제품은 4변(籩) 4두(豆)이다. 재산으로는 전답 4,400평, 대지 700평, 임야 1정보 등 있다.