조선 후기 영덕현 노론계가 지역에 있는 산 이름 ‘주산(朱山)’과 동네 이름 ‘신안동(新安洞)’의 지명이 송나라 주자(朱子)의 행적과 부합된다는 명분으로 세웠다.
1702년 3월 영덕현 군자동에 주자의 영정을 모시고 신안사라는 액호를 걸었다. 설립 당시 재야의 선비들과 의논하면서 당대 노론계를 대표하던 권상하와 정호(鄭澔)의 지도를 받았다. 사당을 세웠는데 신안사가 그것이다.
1730년(영조 6) 4월에 관문 동쪽 1리 토성리[현 화개리]로 옮겼다. 이때 사당을 집성(集成), 강당을 신안서당, 동재를 장서각(藏書閣), 서재를 양사재(養士齋), 누각은 경광(鏡光)이라 이름한 뒤 서원의 면모를 갖추었다. 동시에 송시열(宋時烈)이 영해부에 유배 중 쉬어 갔다는 이유로 유생 류중휘가 주도하고 현감 홍우집의 지원 하에 추향을 하면서 서원으로 승격시킨 것 같다. 이 무렵에 서원의 물적 기반도 구축한 것으로 보이는데, 영덕현 읍지인 『영영승람(盈寧勝覽)』에 수록되어 있어 참고가 된다. 그 중 해읍(海邑) 특성 상 4척의 선박을 보유한 점이 눈길을 끈다.
1736년(영조 12) 한 차례 중수를 거쳐 1741년(영조 17) 훼철되었다가 즉시 재건이 이루어진 듯하다. 재건 직후 서원에서는 신향(新鄕)의 서인과 구향(舊鄕)의 남인 간에 서원에 봉안된 송시열 영정 소실을 두고 향전(鄕戰)이 발생한다. 이 사건은 2년 6개월간 진행되면서 중앙 정계로까지 비화되었다. 어사가 파견되어 진상 조사가 이루어진 결과 신향들의 자작극으로 밝혀졌고 연루자들이 처벌되었다. 이 일은 비슷한 시기 관내의 신향들이 향교를 장악하고 구향과 갈등 관계에 있었는데 그 연장선에서 발생한 향전이었다.
이후 서원의 내력에 대한 자료가 부족하여 알 수는 없다. 1868년(고종 5) 서원훼철령으로 철폐당한 뒤 복원을 하지 못하였다. 조선 후기 영남 지역에서 신향 세력이 노론계 서원을 건립하는 방식과 신・구 세력 간의 충돌을 살펴볼 수 있는 서원으로서 의미가 있다.