1919년 개국공(開國公) 김유신(金庾信)의 사당이 있었던 곳에 지방 유림들이 중건한 서원이다. 남악서원에는 김유신과 관련된 전설만 전해지지만 서원으로 승원하면서 경주 서악서원(西岳書院)의 사례에 따라서 유학자인 홍유후(弘儒侯) 설총(薛聰)과 문창후(文昌侯) 최치원(崔致遠)을 함께 제향한 것으로 추정된다. 서원의 명칭은 동일한 인물들을 제향하고 있던 서악서원을 본 딴 것이며, 시습당(時習堂) · 도남문(道南門) 등의 건물 명칭도 유사하다. 1983년 7월 20일에 경상남도 문화재자료(현, 문화유산자료)로 지정되었다.
전설에는 김유신이 삼국통일을 완수하기 위해 전략상 요지를 찾아다니다가 현재의 남악서원 자리에서 신령을 만나 삼국통일의 가르침을 받았다고 전해진다. 남악서원의 기원은 680년경에 세워진 김유신의 사당에서 창건 연대를 잡고 있으며, 서원으로 완성된 정확한 연대는 확인할 수 없다.
건물들은 사당 · 서원 · 솟을대문이 남북의 축상에 놓여 있고, 서원 좌우에 정면 4칸, 측면 2칸의 동 · 서재가 각각 마주 보고 있는 口자형 좌우대칭 배치의 전학후묘 형태를 나타내고 있다. 솟을대문인 도남문을 지나면 정면에 강당이 위치해 있다. 강당은 정면 4칸, 측면 2칸의 오량가구(五樑架構) 팔작지붕으로 대청이 없고 툇마루가 확장되어 대청의 기능을 하고 있는 것이 특이하다.
강당의 서편 협실은 봉양재(鳳陽齋)이며, 강당의 정면 좌우에 동재와 서재가 있다. 동재는 편액이 없지만 서재는 시습당이란 편액이 걸려있다. 강당 뒤편 돌계단을 오르면 내삼문인 내사문(內祠門)이 있다. 내삼문을 지나면 사당인 남악사(南岳祠)가 있는데, 김유신 · 설총 · 최치원의 위패와 영정(影幀)을 봉안하고 있다. 남악사는 정면 3칸, 측면 1칸의 3량 구조 팔작지붕이며, 전퇴간(前退間)이 없다. 향사일은 매년 음력 3월 18일이다.
남악서원이 중수된 것은 오래되지 않았으나, 이미 그 이전부터 김유신의 내력이 전해오고 있었다는 점에서 역사적으로 의의를 지니고 있다. 또한 한국의 여러 위인들이 사당에 함께 모셔져 있다는 점에서 비교적 유래가 깊은 서원이라 볼 수 있다.