1821년(순조 21)에 하연(河演)과 그의 부인 성산이씨(星山李氏)의 영정을 봉안하는 사우를 건립한 후 ‘타진사(妥眞祠)’라고 명명하였고, 선현배향과 지방교육의 일익을 담당하여왔다.
그 뒤 1868년(고종 5)에 대원군의 서원철폐령으로 훼철되었다가 1905년 유림과 후손에 의해 복원되고 하위국(河衛國)을 추가배향하였으며, 무주군 안성면 죽양리 죽계서원(竹溪書院)에서 훼철된 하징도(河徵道) · 하정도(河呈道) · 하형도(河亨道) · 하현도(河顯道) 등 4현(四賢)의 위패를 봉안하고자 백산사(柏山祠)를 창건하고 구액(舊額) 백산서원을 게시하여 오늘에 이르고 있다.
경내의 건물로는 3칸의 타진사, 3칸의 백산사(柏山祠), 4칸의 강당, 내신문(內神門), 협문, 4칸의 고사(雇舍), 3칸의 행랑(行廊), 대문 등이 있다. 타진사에는 하연 부부의 위패와 영정이 주벽(主壁)으로 봉안되어 있고, 동벽(東壁)에 하위국의 위패가 봉안되어 있다.
백산사에는 하징도 · 하정도 · 하형도 · 하현도의 위패가 봉안되어 있다. 강당은 중앙의 마루와 양쪽 협실로 되어 있는데, 원내의 여러 행사와 유림의 회합 및 학문 강론장소로 사용된다.
백산서원에서는 매년 3월 초정(初丁 : 첫 번째 丁日)과 9월 초정에 향사를 지내고 있으며, 제품은 4변(籩) 4두(豆)이다. 유물로는 하연 부부의 영정과 『하연문집 河演文集』 3책 등 50여종의 문헌이 있으며, 재산으로는 대지 300여평과 전답 1,800평, 임야 10정보 등이 있다. 백산서원은 2000년 6월 23일 전라북도 문화재자료(현, 전북특별자치도 문화유산자료)로 지정되었고, 하연 부부의 영정은 1977년 12월 31일 ‘문효공과 정경부인영정’ 이란 이름으로 전라북도(현, 전북특별자치도) 유형문화재로 지정되었다.