1406년(태종 6) 현유(賢儒)의 위패를 봉안, 배향하고 지방민의 교육과 교화를 위하여 창건되었다. 1648년(인조 26) 서문(西門) 밖에서 현재의 위치로 이건하였으며, 1669년(현종 10)에 재차 대성전의 중수가 이루어졌다. 1872년(고종 9)에는 흥선대원군(興宣大院君)의 흥학과 향교 운영 쇄신 정책에 의해 대대적인 중수가 이루어졌다. 1970년대에 여러 차례 보수를 하였으며, 현재까지 꾸준히 중수와 보수가 이루어지고 있다.
현존하는 건물로는 대성전·명륜당 등이 있으며, 대성전에는 5성(五聖), 송조2현(宋朝二賢), 우리 나라 18현(十八賢)의 위패가 봉안되어 있다. 조선시대는 국가로부터 토지와 노비·전적 등을 지급받아 교관이 교생을 가르쳤다.
건축형태는 전면에 명륜당을, 후면에 대성전을 둔 전학후묘(前學後廟)의 형태이다. 대성전은 앞면 3칸·옆면 3칸 규모로, 팔작지붕의 건물이다. 배우는 공간인 명륜당은 앞면 8칸·옆면 2칸 규모로 되어 있고 명륜당 앞마당에는 조선 정종 때 심었다는 500년 정도 된 은행나무가 있다. 서산향교 은행나무는 2008년 4월 10일 충청남도 기념물로 지정되었으며, 서산향교 유림회에서 소유하여 관리하고 있다. 서산향교는 명륜당 구역과 대성전 구역이라는 2개의 구역이 명확하게 구분되어 있는 형태이다. 전적 판본 15종 80여 책이 소장되어 있으며, 「서산군 신학기(瑞山郡新學期)」·「문묘 중수기(文廟重修記)」 등과 같은 일제 강점기 이전의 현판류 18종 등이 남아 있다. 대성전 계단 아래 우측으로는 1966년에 세운 서산향교 중수교토조성공적비(瑞山鄕校重修校土造成功績碑)가 남아 있다.
조선 후기 이래 향교는 교육 기능이 쇠퇴하고 대신 선현에 대한 제향을 통한 교화 기능을 주로 담당하였다. 봄·가을에 석전(釋奠)을 봉행(奉行)하며 초하루·보름에 분향을 하고 있다. 이 서원의 소장 전적으로는 판본 15종 80책이 있다. 현재 전교(典校) 1명과 장의(掌議) 두어 명이 운영을 담당하고 있다.