1666년(현종 7) 지방유림의 공의로 김면(金沔)과 이기춘(李起春)의 학문과 덕행을 추모하기 위해 월등리에 창건하여 위패를 모셨다. 1670년에 칠등리로 이건하였으며, 선현배향과 지방교육의 일익을 담당하여 오던 중 흥선대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었다.
훼철되기 전의 경내 건물로는 묘우(廟宇)·신문(神門)·강당·동재(東齋)·서재(西齋)·주소(廚所) 등이 있었다. 1903년 도암서당(道巖書堂)이 건립되고, 1975년 도암재(道巖齋)를 건립하여 문중의 재실로 사용하다가 2002년 3월 27일에 도암서원을 복원하여 매년 음력 3월 초10일에 향사를 지내고 있다.
1988년 9월 23일 김면장군유적(金沔將軍遺蹟)으로 김면장군의 묘소, 신도비(神道碑), 도암사(道巖祠), 도암재(道巖齋), 도암서당(道巖書堂)을 일괄하여 경상북도 기념물로 지정되었다. 추후 ‘김면장군유적성역화사업’이 진행될 예정이다.