1684년(숙종 10) 서원을 세우고, 1706년(숙종 32) 묘우(廟宇)인 청덕사(淸德祠)를 건립하여 김계행(金係行)과 옥고(玉沽)를 제향하였다.
선현배향과 지방교육의 일익을 담당하여오던 중 대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었다. 훼철되기 전의 경내건물로는 청덕사(淸德祠), 강당인 입교당(立敎堂)을 비롯하여 극기재(克己齋) · 읍청루(挹淸樓) · 진덕문(進德門) · 신문(神門) · 주소(廚所) 등이 있었다.
그 뒤 1925년 도내 유림이 협력하여 강당 등 일부를 복원하여 현재에 이르고 있다. 중앙의 마루와 양쪽 협실로 된 강당은 원내의 여러 행사와 유림의 회합 및 학문강론장소로 사용하여왔다.
이 서원에서는 매년 3월 중정(中丁: 두번째 丁日)과 9월 중정에 향사를 지내고 있으며, 제품은 4변(籩) 4두(豆)이다. 묵계서원 및 안동김씨 묵계종택은 1980년 경상북도 민속자료(현, 민속문화유산)로 지정되었으며, 재산으로는 전답 6,000평과 대지 1,000평, 임야 5정보 등이 있다.