1705년(숙종 31)에 지방유림의 공의로 김육(金堉)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 1707년에 ‘잠곡(潛谷)’이라고 사액되어 선현배향과 지방교육의 일익을 담당하여 왔다.
1870년(고종 7)에 대원군의 서원철폐령으로 훼철되었으며, 위패는 서원 자리에 매안(埋安)하였다. 그 뒤 지방유림에 의하여 단(壇)을 설치하고 향사를 지내오다가 1950년 6·25전쟁으로 폐허화되었으며, 1981년에 다시 설단(設壇)하고 위패석(位牌石)과 잠곡선생추모비(潛谷先生金堉追慕碑)를 건립하였고, 현재 청평도서관 앞으로 위패석과 추모비를 옮겨 매년 3월에 향사를 지내며 복원을 추진 중에 있다.