본관은 대구(大丘). 자는 표민(表民). 서종대(徐宗大)의 증손으로, 할아버지는 서명훈(徐命勳)이고, 아버지는 관찰사 서형수(徐逈修)이며, 어머니는 노론4대신의 한 사람인 김창집(金昌集)의 손자 김원행(金元行)의 딸이다.
1783년(정조 7) 생원시에 합격, 1803년(순조 3) 증광 문과에 갑과로 급제하고 1806년 홍문관부수찬(弘文館副修撰)이 되었다. 1808년 전라우도의 암행어사로 나갔고, 이듬해 사간원정언(司諫院正言)을 지냈으며, 1812년 대사성이 되었다. 어려서부터 독서에 정진하였으며 뛰어난 문장을 이루었다. 아버지를 본받아 청직(淸直: 청렴하고 정직함)의 전통을 세웠다.