1655년(효종 6)에 지방 유림의 공의로 이황(李滉)의 학문과 덕행을 추모하기 위하여 창건, 위패를 모셨다. 1694년 (숙종 20)에 ‘영산(英山)’이라고 사액되었으며, 그 뒤 김성일(金誠一)을 추가 배향하였다.
당시의 경내 건물로는 묘우(廟宇)·강당·신문(神門)·동재(東齋)·서재(西齋)·전사청(典祀廳)·주소(厨所) 등이 있었다. 선현배향과 지방교육의 일익을 담당하여 오던 중 1868년(고종 5)에 대원군의 서원철폐로 훼철된 뒤 복원하지 못하였다.