1858년 경상북도 대구에서 출생했다. 본관은 대구(大丘)이고, 자는 군필(君弼)이며, 예조판서 서정순(徐正淳)의 아들이다.
1885년 진사시에 합격하고, 1889년 경무대(景武臺) 문과시(文科試) 병과에 급제했다. 1891년12월 시강원(侍講院) 겸설서(兼說書)를 시작으로 예문관 검열, 탁지부 참서관, 중추원 의관, 비서원승, 성균관장, 궁내부 수학원 차장 등을 역임했다. 1899년 사립흥화학교 찬성금으로 2원을 기부했으며, 1907년 2월 조직된 대동학회의 발기인 겸 총무·평의원, 대동학회가 법률교육기관인 대동전문학교를 설립할 때 찬무원, 1908년 기호흥학회 찬무원으로 참여했다.
일제 강점 이후에는 조선총독부 중추원 부찬의(1910~1940)로 일제 지배정책에 협력했다. 1915년 조선물산공진회 경성협찬회 회원, 1920년 1월 대동사문회 창립 이사, 1929년 5월 조선박람회 평의원, 1931년 11월 단군신전봉찬회 고문, 1932년 9월 조선유교회(朝鮮儒敎會) 명리원(明理院) 법정(法正), 1935년 2월 『일월시보(日月時報)』 경학부 고문, 1939년 11월 조선유도연합회 참여 등으로 활동했다. 친일단체 임전대책협력회와 흥아보국단을 통합하여 1941년 9월 임전보국단을 조직하자 경성지역 발기인으로 참여했다. 1943년 7월 31일 사망했다. 일본 정부로부터 1911년 한국합병기념장, 1915년과 1928년 대례기념장, 1922년과 1928년 서보장 등을 받았다.
서상훈의 이상과 같은 활동은 「일제강점하 반민족행위 진상규명에 관한 특별법」 제2조 제9·19호에 해당하는 친일반민족행위로 규정되어 『친일반민족행위진상규명 보고서』 Ⅳ-8: 친일반민족행위자 결정이유서(pp.216∼228)에 관련 행적이 상세하게 채록되었다.