최남두는 31세에 윤봉구를 찾아 사제의 연을 맺은 후 스승의 가르침을 받은 고제(高弟) 중 한 명이다. 1748년(영조 24)에 스승이 써준 현판을 게시한 강학소인 향옥재(香玉齋)를 건립했다. 증가하는 방문 유생 수에 비례해 1758년(영조 34) 강당인 죽당(竹堂), 1761년(영조 37) 동재인 조익와(朝益窩), 1763년(영조 39) 서재인 모습와(暮習窩), 1764년(영조 40) 춘문루(春門樓)를 지어 서원에 준하는 규모를 완비했다.
이때 춘문루에는 윤봉구가 청도군수 재임 때 지은 우문재(右文齋) 유규(遺規)를 준용해 강학규칙으로 삼았다. 그는 1771년(영조 47) 3월 부평부에 올라가 화원(畫員) 신한평이 그린 윤봉구의 영정을 가져와 향옥재 동편에 영당을 세워 봉안했다. 최남두가 영당 건립 직후에 세상을 떠나자, 문인들이 1786년(정조 10) 최남두를 옥계영당에 추향함과 동시에 서원으로 승격시켰다.
1868년(고종 5) 서원훼철령으로 철폐되었고, 광복 이후에 복원되었다. 1986년 서원이 수몰 지구에 편입되자, 현 위치로 옮겨왔다. 현재 옥계서원에는 기존 2명의 제향자를 비롯해 이이, 위백규, 박준흠(朴俊欽), 최유윤(崔惟允)이 함께 모셔져 있다. 1983년 경상남도 문화유산자료로 지정되어 보호받고 있다.
옥계서원은 경상도에서 보기 드문 기호학자와 지역 문인이 함께 제향된 공간으로 특별한 의미를 가지고 있다.