신라 문무왕때 군창(軍倉)이 있었던 곳이라 한다. 1871년(고종 8) 흥무대왕(興武大王)김유신(金庾信)을 모시기 위해 건립하였는데, 경주의 서악서원(西嶽書院)과 같이 설총(薛聰)·최치원(崔致遠)도 함께 제향하고 있다.
문무왕의 능소가 금산이고 이 곳 사우도 금화산(金華山)에 있으므로 금산사라 이름하였다. 설립된 당시에는 선비들이 모여 주로 글읽기를 하던 곳이었으나, 현재는 매년 음력 2월과 8월에 후손들과 인근 각지에 사는 유림이 모여 제향을 받들고 있다.