1794년(정조 18)에 정구(鄭矩, 1350∼1418), 정선경(鄭善卿, 1395∼1442), 정종(鄭種), 정비(鄭秠)를 제향하기 위해 창건된 서원이다. 1868년(고종 5)에 대원군의 서원 철폐령으로 훼철된 뒤 반암서당(盤巖書堂)으로 현판을 하였다. 1994년에 노후된 건물을 확대 · 개축하여 현재에 이르고 있다.
반암서원은 여말선초의 문신이었던 정구와 그의 아들 정선경, 손자 정종 · 정비 등 동래정씨 3대를 모신 문중서원으로, 동래정씨 집성촌인 덕곡면 반성리 원전마을에 위치하고 있다. 본래 정종의 별묘(別廟)였던 곳에 1794년 정충사(靖忠祠)에 있던 정구의 위패를 이안하여 함께 모시면서 반암서원이라 이름하였다.
정구는 자가 중상(仲常), 호는 설학재(雪壑齋)로 1377년(우왕 3) 문과에 급제하여 전교시부령(典校寺副令)을 지내고, 조선이 개국하자 도승지, 대사헌, 예문관학사를 거쳐 공조판서, 호조판서 등을 역임하였다. 정선경은 자가 선지(善之), 호는 반곡재(盤谷齋)이다. 내섬시판관을 역임하고 아들 정종의 훈공으로 정헌대부 호조판서에 증직되었다.
정종은 조선 초기의 무신으로 자는 묘부(畝夫), 호는 오로재(吾老齋)이다. 1442년(세종 24) 무과에 급제하여 세조 때 원종공신(原從功臣) 1등에 책록되었고, 이시애의 난을 평정한 공으로 적개공신 3등에 책록되면서 동평군(東平君)에 봉해졌다. 이후 충청도도절제사, 경주부윤 등을 역임하였다. 정비는 정선경의 아들로 호는 기우자(騎牛子)이다. 충좌위부사정을 지냈으며 호조참판에 증직되었다.
서원은 외삼문인 고경문(高景門), 강당인 반암서당, 내삼문인 수궐문(修厥門), 사당인 세덕사(世德詞)로 구성되어 있다.
세덕사는 정면 3칸, 측면 2칸 규모의 맞배지붕이다. 사당으로서는 보기 드문 다포 형식으로, 어칸에는 2구의 간포, 좌우 협칸에는 1구의 간포를 얹었다. 그 외 경내에는 정구, 정선경, 정종, 정인운의 신도비 4기가 있다. 그 중 정종의 비문은 그의 후손인 위당(爲堂) 정인보(鄭寅普)가 지었다. 매년 음력 10월 6일 향사를 봉행하고 있다.
고령지역 동래정씨의 집성촌 형성 및 문중의 성장과 궤를 같이 하여 건립된 조선 후기의 전형적인 문중서원이다.