인산서원은 조선 후기 영남에서 추앙받던 이휘일(李徽逸: 16191672)・ 이현일(李玄逸: 16271694) 형제의 학행을 기리기 위해 1696년 고향인 영해부[현 경상북도 영덕군]에 창건한 서원이다.
이휘일 사후 제자들을 중심으로 서원 건립이 논의되어, 1687년(숙종 13)에 본격적으로 추진되었다. 자금 부족으로 8년 만에 공사가 마무리되어 위패를 봉안했다. 특히 이때 다른 영남 남인계 서원에서는 보기 드물게 근기 남인계 인사의 지원이 주목을 끈다.
1718년(숙종 44) 동생 이현일을 추향하는 수순을 밟았고, 그 과정에서 당대 이현일의 위상에 걸맞게 영남의 많은 고을들에서 적극적인 부조가 뒤따랐다. 그러나 갑술환국(甲戌換局) 이후 노론의 대 남인 탄압책으로 인산서원은 1737년(영조 13) 훼철되고 만다. 이는 이현일이 노론 정권으로부터 ‘명의죄인(名義罪人)’으로 처벌받은 것과 무관하지 않다.
다음해 모지동(茅池洞)으로 옮겨 건물을 신축했으나 1741년(영조 17) 서원훼철령 때 사사로이 건립된 서원 명단에 올라 재차 철폐되기에 이르렀다. 서원 측에서는 유소를 올려 철폐에 대응했으나 실패하고, 위패를 땅에 묻었다. 1774년(영조 50) 무렵 다시 복설을 시도하나, 정권에 의해 곧 바로 훼원(毁院)당했다.
이와 관련해 재령 이씨 존재파에는 인산서원의 건립, 추향, 훼철 과정, 예식 문자 등이 구체적으로 수록된 『인산록(仁山錄)』이 전한다. 현재 인산서원은 복설되지 않은 상태이다.
인산서원은 조선 후기 퇴계학통의 적통을 계승한 이휘일과 영남 남인을 대표하며 ‘ 산림’으로 중앙정계에서 활약한 이현일 형제를 모신 공간이었다. 그럼에도 집권 노론세력의 대 남인 통제책 일환으로 3차례나 훼철을 겪은 상징적인 서원으로서 역사적 가치가 있다.