본관은 달성(達城). 자는 일지(一之), 호는 송옹(松翁) 또는 졸옹(拙翁). 병조참의 서문상(徐文尙)의 증손으로, 할아버지는 영의정 서종태(徐宗泰)이고, 아버지는 좌의정 서명균(徐命均)이며, 어머니는 청풍김씨(淸風金氏)로 김구(金構)의 딸이다.
1733년(영조 9) 진사가 되고, 1740년 증광 문과에 병과로 급제하였다. 이후 양관(兩館: 홍문관과 예문관)의 제학과 대사헌·이조판서 등 청요직을 두루 역임하였다. 1766년에는 영의정에 올라 할아버지 서종태(徐宗泰), 아버지 서명균(徐命均)에 이어 3대째 상신(相臣)이 되었다.
대사헌으로 있을 때 장헌세자(莊獻世子)의 비행을 조작하여 영조에게 허위보고한 김상로(金尙魯)·홍계희(洪啓禧) 일당을 탄핵하였으며, 시강원(侍講院)의 빈객(賓客)으로 장헌세자를 교도하여 그 보호에 힘썼다.
장헌세자가 죽고 그의 아들 정조가 동궁에 있을 때 정경(正卿)의 직위에 있으면서 동궁의 신하로 소속되어 보좌하였으며, 또 왕위에 오르는 데 절대적인 공헌을 하여 뒤에 정조의 추앙을 받았다. 천성이 청렴결백하여 세속과 어울리지 않았으며, 정조 때 청백리로 드러내어 표창되었다. 글씨에도 뛰어나 영유(永柔)의 「제갈량묘악비문천상추배기사비(諸葛亮廟岳飛文天祥追配紀事碑)」와 양주(楊州)의 「풍덕부사서명무갈(豊德府使徐命茂碣)」을 썼다. 시호는 문청(文淸)이다.