1714년(숙종 40)에 지방유림의 공의로 송시열(宋時烈)의 학문과 덕행을 추모하기 위해 봉암산(鳳巖山) 아래에 창건하여 위패를 모셨으며, 이 때는 봉암영당(鳳巖影堂)이라고 하였다.
1722년(경종 2)에 훼철되었다가 1725년(영조 1)에 인왕산(仁旺山) 아래에 중건하여 인산영당(仁山影堂)이라 하였으며, 1764년 인산서원으로 사액되었다. 선현배향과 지방교육의 일익을 담당하여 오던 중, 1868년에 대원군의 서원철폐로 훼철되어 복원하지 못하였다.