1800년(정조 24)에 백곡사(栢谷祠)로 창건되었다. 고려 말 도덕 문장으로 이름이 높은 문절공(文節公) 이행(李行, 1352∼1432), 조선 중종 때의 월연(月淵) 이태(李迨, 1483∼1536), 금시당(今是堂) 이광진(李光軫, 1513∼1566), 근재(謹齋) 이경홍(李慶弘, 1540~1595) 등 학덕이 출중한 4명의 여주이씨를 배향한 서원이다.
1800년에 백곡사로 창건되어 세덕사(世德祠)로 개칭되었다가 백곡서원으로 이름하였다. 1868년(고종 5)에 흥선대원군의 서원 철폐령으로 훼철되었다. 현재 그 자리에는 금시당(今是堂)과 백곡재(栢谷齋)가 남아있다.
서원의 기틀을 세운 이광진은 명종 때 증광문과에 급제한 뒤 『중종실록』 · 『인종실록』의 편찬에 참여하고 사간원 헌납 등을 거쳐 좌부승지에 올랐다. 그는 관직에서 물러난 후 학문을 닦고 수양하기 위해 이곳에 금시당을 1566년(명종 21)에 세웠다. 금시당이란 이름은 도연명의 시 「귀거래사(歸去來辭)」의 “지금이 옳고 지난 삶이 그릇됨을 깨달았네.[覺今是而昨非]”라는 구절에서 따왔다.
백곡서원 터에 남아있는 금시당과 백곡재는 1996년 3월 11일에 경상남도 문화재자료(현, 문화유산자료)로 지정되었다. 이광진이 1566년에 세운 건물은 임진왜란 때 소실되었고 1743년(영조 19)에 후손인 백곡(栢谷) 이지운(李之運)이 복원하였다. 그 뒤 1860년(철종 11)에 이지운을 추모하기 위하여 경내에 백곡재가 새로 건립되었다.
백곡서원은 훼철된 후 복원되지 못했지만 현재 남아있는 금시당과 백곡재는 수려한 주변 경관과 어우러져 조선시대 선비들이 장수(藏修)하던 풍치를 느낄 수 있다.