본관은 대구(大丘). 자는 덕이(德而), 호는 당헌(戇軒). 서성(徐渻)의 후손이며, 서문택(徐文澤)의 증손으로, 할아버지는 서종섭(徐宗燮)이고, 아버지는 서명원(徐命元)이며, 어머니는 사헌부집의(司憲府執義) 임진하(任震夏)의 딸이다. 영조 제1비 정성왕후(貞聖王后) 집안의 출신이다.
1787년(정조 11) 당진현감 재직 중 56세의 나이로 정시 문과에 을과로 급제하였다. 학술과 재능은 없었으나 성격이 원만, 근면하여 장자로 칭양받았다. 순조대 초기에 시파(時派)와 벽파(僻派)가 대립하는 가운데 이조판서로서 시파에 치우친 인사를 행하여 벽파로부터 크게 반발을 받았다.
1804년(순조 4) 우의정에 올라 영의정에까지 이르렀으나 1806년 삼사로부터 논핵을 받아 문외출송(門外黜送: 4대문 밖으로 추방함)당하고, 1813년 판중추부사로 다시 서용된 뒤 곧 일생을 마쳤다. 저서로는 황해감사를 역임하였을 당시 작성한 『해영일기(海營日記)』가 있다. 시호는 익헌(翼憲)이다.