1694년(숙종 20)에 지방유림의 공의로 김인후(金麟厚)의 학문과 덕행을 추모하기 위해 옥과면 죽림리에 창건하여 위패를 모셨다. 1729년(영조 5)에 유팽로(柳彭老)와 신이강(辛二剛)을 추가 배향하고, 1797년(정조 21)에 허계(許繼), 1846년(헌종 12)에 허소(許紹)를 추가 배향하였다.
선현배향과 지방교육의 일익을 담당하여오던 중 흥선대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었다가 1960년전라남도 유림에 의하여 현재의 위치에 복원되었다. 1965년에는 위백규(魏伯珪)를 봉안하여, 6위를 모시게 되었다.
경내의 건물로는 3칸의 사우(祠宇), 신문(神門), 동서 협문(夾門), 3칸의 강당, 1칸의 전사청(典祀廳), 외삼문(外三門)·고사(雇舍) 등이 있다. 사우에는 김인후를 주벽(主壁)으로 하여 좌우에 허소·유팽로·위백규·허계·신이강의 위패가 봉안되어 있다.
강당은 중앙의 마루와 양쪽 협실로 되어 있는데 원내의 여러 행사와 유림의 회합 및 학문강론장소로 사용되고 있다. 전사청은 향례 때 제수(祭需)를 마련하여두는 곳이다. 이 서원에서는 매년 3월 18일에 향사를 지내고 있으며, 제품(祭品)은 4변(籩) 4두(豆)이다.
소장 전적으로는 《필암서원지 筆巖書院誌》 3책을 비롯하여 300여 권의 문헌이 있다. 재산으로는 전답 2,500평이 있다.