본관은 달성(達城). 자는 경세(慶世), 호는 죽석관(竹石館), 옥경산인(玉磬山人). 영의정 서종태(徐宗泰)의 고손이며, 좌의정 서명균(徐命均)의 증손으로, 할아버지는 영의정 서지수(徐志修)이고, 아버지는 대제학 서유신(徐有臣)이다. 어머니는 유성제(柳聖躋)의 딸이다. 증조와 할아버지가 모두 영의정으로 직계 가문에서 3대에 걸쳐 정승이 나온 명문 태생이다.
1776년(영조 52) 18살의 나이에 초시에 합격하였지만 부친 서유신이 홍국영과 갈등을 겪게 되자 복시를 포기하고 출사를 뒤로 미루었다. 부평(富平)의 오곡(梧谷)에 기거하며 학문에 힘쓰다 1788년(정조 12) 전강(殿講)에 참여, 장원하여 직부전시(直赴殿試)하게 되었다. 1789년(정조 13) 식년 문과에 장원한 뒤 이듬해 성절 겸 사은사(聖節兼謝恩使)의 서장관(書狀官)으로 청나라에 다녀와서 함경도암행어사로 나갔다.
이어 규장각직각(奎章閣直閣)에 제수되었다가 1792년 승지를 거쳐 대사간이 되고 이듬해 대사성이 되었다. 1794년 호남위유사(湖南慰諭使)로 나갔으며, 그 뒤 승지를 거쳐 황해도관찰사·경기도관찰사가 되어 나갔다.
1804년 (순조 4) 홍문관부제학(弘文館副提學)이 되고 그 이듬해 예조판서에 승진하였다. 1805년 대사헌이 되고 이어 대호군(大護軍)·홍문관제학·지중추부사(知中樞府事) 등을 역임하였다. 1808년 호조판서로 있으면서 비국유사당상(備局有司堂上)을 겸직, 심상규(沈象奎)와 더불어 『만기요람(萬機要覽)』을 편찬하였다.
그 뒤 판의금부사(判義禁府事)·평안도관찰사·규장각제학·이조판서, 대제학, 통제사, 수원부유수(水原府留守) 등을 역임하였다. 아들 서기순(徐箕淳)도 뒤에 대제학에 올라 아버지로부터 부자손 3대가 대제학을 지내는 가통을 세웠다. 문장과 글씨에 뛰어났고 수원의 지지대비(遲遲臺碑) 비문을 짓기도 하였다. 시호는 문헌(文憲)이다.
저서로는 『죽석문집(竹石文集)』·『풍악기(楓嶽記)』·『교초고(交抄考)』·『어사고풍첩(御射古風帖)』 등이 있다.