1612년(광해군 4)에 지방유림의 공의로 조호익(曺好益)의 학문과 덕행을 추모하기 위해 서재(書齋) 뒤에 묘우(廟宇)를 건립하여 배향해오다가, 이듬해에 조호익의 위패를 봉안하고 지봉서원(芝峰書院)이라 하였다.
1678년(숙종 4)에 ‘도잠’이라고 사액되어 사액서원으로 승격되었으며, 선현 배향과 지방교육의 일익을 담당하였다. 그 뒤 흥선대원군의 서원철폐령으로 1871년(고종 8)에 훼철되었으나 1914년 복원되었으며, 1981년에 정부의 지원으로 중수하였다.
경내의 건물로는 3칸의 묘우(廟宇), 5칸의 강당, 1칸의 망회정(忘懷亭), 신도비 · 비각 · 사주문(四柱門), 4칸의 포사(庖舍) 등이 있다. 묘우에는 조호익의 위패가 봉안되어 있다. 강당은 중앙의 마루와 양쪽 협실로 되어 있는데, 원내의 여러 행사와 유림의 회합 및 학문의 토론장소로 사용되고 있다.
망회정은 1603년(선조 36)에 조호익이 건립하여 제자들을 길러낸 곳이며, 신도비는 1642년(인조 20)에 건립되었다. 포사는 향례 때 제수(祭需)를 장만하여 두고 고직(庫直)이 거처하는 곳이다.
매년 3월 중정(中丁 : 두 번째 丁日)과 9월 중정에 향사를 지내며, 제품(祭品)은 4변(籩) 4두(豆)이다. 1985년 경상북도 문화재자료(현, 문화유산자료)로 지정되었다.
유물로는『지산집(芝山集)』 및 『가례고증(家禮考證)』 · 『대학동자문답집(大學童子問答集)』 등의 목판이 보존되어 있으며, 재산은 전답 2000여 평과 임야 65정보 등이 있다.