1518년(중종 13) 지방 유림의 공의로 김일손(金馹孫)의 학문과 덕행을 추모하기 위해 자계사(紫溪祠)를 창건하여 위패를 모셨다. 1576년(선조 9) 서원으로 승격되었으나 임진왜란으로 소실되었다가, 1615년(광해군 7) 중건하고 김극일(金克一)과 김대유(金大有)를 추가 배향(配享)하였다.
1661년(현종 2) ‘자계(紫溪)’라고 사액(賜額)되어 선현 배향과 지방 교육의 일익을 담당하여오던 중 1871년(고종 8) 대원군의 서원 철폐로 훼철(毁撤)되었으며, 그 뒤 1984년에 복원하였다.
경내 건물로는 3칸의 묘우(廟宇), 신문(神門), 5칸의 강당, 각 3칸의 동재(東齋)와 서재(西齋), 3칸의 전사청(典祀廳), 2층 3칸의 영귀루(詠歸樓), 외삼문(外三門), 비각(碑閣), 4칸의 고자처(庫子處) 등 12동의 건물과 천운담(天雲潭) · 탁영대(濯纓臺) 등이 있다.
사우에는 김일손을 주벽(主壁)으로 하여 좌우에 김극일과 김대유의 위패가 봉안되어 있다. 강당은 중앙의 마루와 양쪽 협실로 되어 있는데, 원내의 여러 행사와 유림의 회합 및 학문 강론 장소로 사용하고 있다. 전사청은 향사(享祀:제사) 때 제수(祭需)를 마련하여 두는 곳이며, 동재와 서재는 유생들이 수학하며 거처하는 곳이다.
영귀루는 원내의 여러 행사 및 유생들이 모여서 시부(詩賦)를 짓기도 하는 곳이며, 비각에는 김극일의 효행을 찬양한 것과 신도비(神道碑)와 원정비(院庭碑) 등이 있다. 영귀루 · 동재 · 서재는 1975년 경상북도 유형문화재(현, 유형문화유산)로 지정되었다. 매년 2월 중정(中丁:두번째 丁日)과 8월 중정에 향사를 지내고 있으며, 제품(祭品:제사 음식)은 4변(籩)4두(豆)이다.
유물로는 칠현금(七絃琴)이 보관되어 있고, 문집은『연려실기술』 등 수십 권이 소장되어 있으며, 재산으로는 전답 3,000평과 대지 5,000평 등이 있다.