1616년(광해군 8) 지방유림의 공의로 1589년 기축옥사에 연루되어 희생당한 정개청(鄭介淸)에 대한 신원(伸寃)운동이 일어나면서 그의 학문과 덕행을 추모하기 위해 사우를 창건하여 위패를 모셨다.
1657년(효종 8)에 서인계의 집권으로 인하여 훼철되었다가 허목(許穆)·윤선도(尹善道) 등의 상소로 1677년(숙종 3)에 복원되었으며, 1678년에 ‘자산(紫山)’이라고 사액되어 1680년에 경신환국(경신대출척)으로 서인이 정권을 잡게 되면서 관찰사 임규의(任奎毅)와 유경서(柳景瑞) 등의 상소에 따라 훼철되었다가, 나두하(羅斗夏)·김덕원(金德遠) 등 유생의 상소로 1689년에 다시 복원되었고 정대청(鄭大淸)을 추가 배향하였다.
그 뒤 이만성(李晩成)의 상소에 의하여 1702년 또다시 훼철되었다. 그 후 1752년(영조 28)에 제동사(濟洞祠)라는 이름으로 중건되었고, 1762년 훼철되었으며, 1789년 다시 복설되었으나 1868년(고종 5) 대원군의 서원철폐령으로 훼철되었다. 1942년 유림 및 후손들에 의하여 유허단향비(遺墟壇享碑)가 세워졌다.