1587년(선조 20)에 지방유림의 공의로 서릉(徐稜)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
임진왜란 때 소실되었다가 1648년(인조 26)에 중건하였으며, 1667년(현종 8)에 조영규(趙英圭) · 조정로(趙廷老), 1698년(숙종 24)에 최학령(崔鶴齡), 1758년(영조 34)에 정운룡(鄭雲龍) · 김우급(金友伋), 1788년(정조 12)에 박수량(朴守良)을 추가 배향하였다.
선현배향과 지방교육의 일익을 담당하여 오던 중, 대원군의 서원철폐령으로 1868년(고종 5)에 훼철된 뒤 복원하지 못하였다. 1909년에 김학수(金鶴洙) · 최범석(崔凡錫) 등이 서원터에 단비(壇碑)를 세웠다. 모암서원지는 1984년 2월 29일 전라남도 문화재자료(현, 문화유산자료)로 지정되었다.