본관은 달성(達城). 자는 순오(舜五). 영의정 서종태(徐宗泰)의 증손으로, 할아버지는 좌의정 서명균(徐命均)이고, 아버지는 영의정 서지수(徐志修)이며, 어머니는 이덕빈(李德彬)의 딸이다.
1772년(영조 48) 정시 문과에 장원으로 급제한 뒤 1775년 양주심찰어사(楊州審察御史)가 되어 군기(軍器)를 점검하고, 이어서 겸보덕(兼輔德)·승지·충청도관찰사 등을 역임하였다.
1773년 세자시강원에 재직할 당시 박종갑(朴宗甲), 이의준(李義駿)과 함께 세손을 잘 보좌해 ‘삼춘방(三春坊)’으로 일컬어지기도 했다. 당시 서연 자리에서 “노성중(盧聖中)이라는 인물이 임오년(1762) 사도세자 사건 이후 13년간 벼슬에 나아가지 않다가 근래에 와서 벼슬에 나와 포부를 펴보려고 한다.”는 말을 하였다.
1776년(정조 즉위) 정조가 즉위하고 영남 유생 이응원이 상소를 올려 사도세자 사건을 거론하며 흉역을 징토할 것을 요구하자 정조는 이응원을 친국(親鞫)하며 영조대의 의리를 해치는 것으로 단정하였고, 서연 자리에서 당시의 사건을 언급하였던 서유신, 박종갑, 이의준 등도 모두 같은 무리라고 비판하였다. 결국 1777년 서연 자리에서의 발언 문제로 인해 세 사람은 향리로 방출되었다. 하지만 이는 표면적인 이유일 뿐, 실제로는 세도가 홍국영(洪國榮)의 모략이었다.
1784년 정조는 대사령(大赦令)을 통해 세 사람의 죄를 사면 받고, 1789년 풍기군수(豐基郡守)에 제수되었다. 1794년 홍문관·예문관의 대제학이 되고, 이듬해 대사간·대사헌을 거쳐 1796년 호군(護軍)을 역임하고 봉조하(奉朝賀)로 있다가 죽었다.
선조 때부터 대대로 문형(文衡: 대제학의 다른 이름)을 지낸 명문가에 태어나 품행이 방정하고 성품이 고결하였으며 학문에 열중, 특히 경사(經史)에 능하였다. 이조판서에 추증되었다. 시호는 문정(文貞)이다.