1971년 제주특별자치도 기념물로 지정되었다. 1871년(고종 8) 대원군의 서원철폐령으로 귤림서원(橘林書院)이 훼철된 후, 1892년(고종 29) 제주 유림들의 건의에 의해 귤림서원에 배향되었던 오현(五賢)을 기리기 위해 마련한 제단(祭壇)이다.
귤림서원은 1578년(선조 11) 조인후(趙仁後) 판관이 1521년(중종 16) 10월 제주에 유배되었다가 사사된 김정(金淨)의 넋을 위로하기 위해 그의 적거지에 충암사(沖庵祠)를 세운 데서 비롯되었다.
그 후 1665년(현종 6) 최진남(崔鎭南) 판관이 충암사를 이곳으로 옮겨 사(祠)라 하고, 이미 1659년(효종 10) 제주 김진용(金晉鎔)의 건의에 의해 이회(李禬) 목사가 이곳에 세운 장수당(藏修堂)을 재(齋)로 하여 귤림서원이라 현액하였다.
오현은 김정을 비롯하여, 1601년(선조 34) 소덕유(蘇德裕)·길운절(吉雲節) 역모 사건 때에 안무어사(安撫御史)로 제주에 파견되었던 청음(淸陰) 김상헌[金尙憲: 1669년에 배향], 대정현에 유배되었던 동계(桐溪) 정온[鄭蘊: 1669년에 배향]과 우암(尤庵) 송시열[宋時烈: 1695년에 배향], 제주목사를 역임한 규암(圭庵) 송인수[宋麟壽: 1682년에 배향]를 말한다.
이곳에는 지금도 오현의 위패를 상징하는 조두석(俎豆石)이 놓여 있다. 그리고 이 유적 내에는 ‘증주벽립(曾朱壁立)’의 마애명과 귤림서원묘정비(橘林書院廟庭碑), 향현사유허비(鄕賢祠遺墟碑) 등이 세워져 있다.