1609년(광해군 1)에 지방유림의 공의로 조식(曺植)과 신계성(申季誠)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 같은 해에 ‘신산(新山)’이라고 사액되어 선현배향과 지방교육의 일익을 담당하였으며, 1616년(광해군 8)에는 신계성(申秀誠)을 추가배향하였다.
1868년(고종 5) 대원군의 서원철폐령으로 훼철되어 서원은 복원하지 못하였다. 이후 사림의 공의로 조식이 제자들과 강학하던 곳인 산해정(山海亭)만 중건하였다. 산해정은 1985년 경상남도 문화재자료(현, 문화유산자료)로 지정되었으며, 정면 5칸, 측면 2칸의 목조와가로 되어 있다.
1999년 김해시에서 신산서원을 복원하여 오늘에 이르고 있다.