1564년(명종 19)에 이천부사 정현(鄭賢)을 중심으로 한 지방유림의 공의로 서희(徐熙)·이관의(李寬義)·김안국(金安國)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
1593년(선조 26)에 이천읍 관고리로 이건하였으며, 최숙정(崔淑精)을 추가배향하였다. 선현배향과 지방교육의 일익을 담당하여 오던 중 대원군의 서원철폐령으로 1868년(고종 5)에 훼철되어, 위패는 서원 자리에 매안(埋安)하고 단(壇)을 설치하여 향사를 지내 왔다.
그 뒤 1977년 9월에 현충탑을 건립하여 네 명 선조의 우국충정을 추모하는 글을 새겼으며, 그 옆에 설봉서원유허비(雪峯書院遺墟碑)를 세워 매년 9월에 향사를 지내고 있다. 현재 현충탑과 유허비 외에 하마비(下馬碑)와 6칸의 재실이 있으며, 서원 복원을 추진 중에 있다.