1662년(현종 3)에 지방 유림의 공의로 이산보(李山甫)·조헌(趙憲) 등의 학문과 덕행을 추모하기 위해 창건하고 위패를 모셨고, 1709년조수륜(趙守倫)·조속(趙涑)을 추가 배향하였다.
1713년에 ‘건암’이라는 사액을 받아 사액서원으로 승격되었으며, 선현배향과 지방교육의 일익을 맡아왔다. 대원군의 서원철폐령으로 1871년(고종 8)에 훼철된 후 복원되지 못하였다. 1983년경에 유림의 주선으로 충청남도 서천읍 둔덕리에 건암서원 유허비를 세웠다.