1576년(선조 9)에 제주판관 조인후(趙仁後)를 중심으로 한 지방유림의 공의로 김정(金淨)의 학문과 덕행을 추모하기 위해 충암묘(冲菴廟)를 창건하여 위패를 모셨다.
1666년에 판관 최남진(崔南鎭)이 제주시 이도동으로 이건하였으며, 1683년에 정온(鄭蘊)·김상헌(金尙憲)·이약동(李約東), 1678년에 송인수(宋麟壽)를 추가배향하였고, 1682년(숙종 8)에 ‘귤림’이라고 사액되어 서원으로 승격되었다.
1695년에 송시열(宋時烈)·이회(李檜)를 추가로 배향하여 선현배향과 지방교육의 일익을 담당하였다. 그 뒤 흥선대원군의 서원철폐령으로 1868년(고종 5)에 훼철되어 복원하지 못하였으며, 1892년에 지방유림이 오현단(五賢壇)과 단비(壇碑)를 쌓아 매년 향사를 지내오다가, 1910년부터 중단되었다. 오현(五賢)은 김정, 송인수, 김상헌, 정온, 송시열이며, 오현단은 1971년 제주도 기념물로 지정되었다.