고려 말의 충신이며 덕녕부윤(德寧府尹)을 역임한 장안세(張安世)를 향사하기 위해 조선 영조 때에 건립하였다. 본래는 장안세 외에 그 후손 등 8인을 배향하여 향사하였으나, 1871년(고종 8)에 철거되었다.
그 뒤 1893년에 다시 본래의 사당 자리에 단비(壇碑)를 세우고 장안세만을 향사하였다. 현재는 옥계서원이라고 부르고 있으며, 1980년 이후 사당인 경절묘(景節廟)를 중심으로 강당, 동‧서재, 비각을 복원하였다.
영조 때 진사 송이석(宋履錫)이 지은 〈옥계사상량문〉과 후손 장지학(張趾學)이 지은 봉안문이 있으며, 매년 음력 9월 9일에 후손들이 향사하고 있다.