조선 전기의 문신 이선제(李先齊)를 봉안하기 위하여 1624년(인조 2)에 창건되어 1820년(순조 20)에 수암사(秀巖祠)라 사액되었고, 1868년(고종 5)에 흥선대원군의 서원철폐령에 따라 훼철되었다가 1919년에 신실(神室)이 건립되고 1920년에 설단되었다.
이선제를 비롯하여 이조원(李調元) · 이중호(李仲虎) · 이발(李潑) · 이길(李洁)이 배향되어 있다. 1977년 강진군에서 보수한 후 1979년 이 서원 일대가 전라남도 기념물로 지정되었다.