1549년(명종 4) 성제원(成悌元)을 중심으로 한 지방유림의 공의로 서원건립을 시작하여 1555년(명종 10) 준공한 후 김정(金淨)을 봉안하고 삼년성서원이라 하였다.
1610년(광해군 2) ‘象賢(상현)’이라고 사액되었으며, 1672년(현종 13) 현재의 위치로 이건하고 성운(成運)을 추가 배향하였다. 1681년 성제원과 조헌(趙憲)을, 1695년 송시열(宋時烈)을 추가 배향하였다.
선현배향과 지방교육의 일익을 담당하여 오던 중, 흥선대원군의 서원철폐령으로 1871년(고종 8)에 훼철된 뒤 강당은 보은향교로 옮겼다. 1896년에 집례(執禮) 김문희(金文熙)가 재건하여 장례원(掌禮院)이라 하였다가, 1919년에 중수하여 복원하였으나 시설이 미비한 상태이다.
경내의 건물로는 3칸의 사우(祠宇), 정문과 묘정비각(廟庭碑閣) 등이 있다. 사우에는 김정을 주벽(主璧)으로 하여 좌우에 성운·성제원·조헌·송시열 등의 위패가 봉안되어 있다.
이 서원은 1984년 충청북도 기념물로 지정되었으며, 매년 2월 중정(中丁: 두 번째 丁日)과 8월 중정에 향사를 지내고 있다. 유물로는 배향자들의 문집과 원지(院誌) 등 30여 권의 책이 보존되어 있다. 재산으로는 서원 대지 600여 평, 논 2,400여 평 등이 있다.