본관은 달성(達城). 자는 평보(平甫), 호는 소고(嘯皐)·재간(在澗)·보졸재(保拙齋)·송현(松峴). 남원부사 서정리(徐貞履)의 증손으로, 할아버지는 병조참의 서문상(徐文尙)이고, 아버지는 영의정 서종태(徐宗泰)이며, 어머니는 이헌(李藼)의 딸이다. 아버지로부터 아들 서지수(徐志修)까지 3대가 대신을 지냈으며, 부인 또한 3대가 대신을 지낸 김구(金構)의 딸이다.
1705년(숙종 31) 진사가 되고, 1710년 증광 문과에 병과로 급제하여 사관(史官)으로 뽑혔다. 1721년(경종 1) 사간원헌납(司諫院獻納)·홍문관부수찬(弘文館副修撰)을 거쳐 이조참의가 되었을 때, 경종의 생모 희빈 장씨(禧嬪張氏)를 공격한 윤지술(尹志述)을 구하려 하는 등 완소(緩少)의 입장을 취하였다. 이에 김일경(金一鏡) 등 급소(急少)의 탄핵을 받고 안악군수에 좌천되었다.
1723년 진하부사(進賀副使)로 청나라에 다녀온 뒤 다음 해 경기관찰사, 1725년(영조 1) 동지중추부사가 되었다. 같은 해 탕평을 주장하여 영조 연간 탕평파 형성의 핵심 세력으로 성장하였다. 1727년 호조참판·홍문관부제학(弘文館副提學)·이조참판 등을 거쳐, 다음 해 동지사로 청나라에 다녀와서 1729년 호조판서가 되었다. 이듬해 형조판서·홍문관부제학이 되었고, 실록청도청당상(實錄廳都廳堂上)을 겸직하여 『경종실록(景宗實錄)』의 편찬에 참여하고 우참찬에 승진하였다.
1731년 판돈녕부사(判敦寧府事), 이듬해 우의정·좌의정을 지냈다. 1734년 진주사(陳奏使), 1736년 세자책봉주청사(世子冊封奏請使)로 청나라에 다녀와서 판중추부사를 지냈다. 글씨를 잘 썼으며 청렴하기로 이름 높았다. 글씨로는 경기도 고양에 있는 「김주신묘표(金柱臣墓表)」가 있다. 시호는 문익(文翼)이다.