조선 전기의 문신 이선제(李先齊)를 봉안하기 위하여 1624년(인조 2)에 창건되어 1820년(순조 20)에 수암사(秀巖祠)라 사액되었고, 1868년(고종 5)에 흥선대원군의 서원철폐령에 따라 훼철되었다가 1919년에 신실(神室)이 건립되고 1920년에 설단되었다.
이선제를 비롯하여 이조원(李調元)·이중호(李仲虎)·이발(李潑)·이길(李洁)이 배향되어 있다. 1979년 전라남도 기념물로 지정되었다. 1979년 이 서원일대가 전라남도 기념물로 지정되었고, 1977년 강진군의 문화재정화 및 보수계획에 따라 보수되었다.