본관은 대구(大丘). 자는 노망(魯望), 호는 만정(晩靜)·서곡(瑞谷)·송애(松厓). 병조참의 서문상(徐文尙)의 아들이다.
1675년(숙종 1) 생원시에 장원, 1680년 문과별시에 급제하고, 이듬 해 검열이 되어 실록청도청(實錄廳都廳)·낭청(郎廳)으로서 『현종실록』 편찬에 참여하였다.
1689년 기사환국으로 인현왕후(仁顯王后) 민씨(閔氏)가 폐위되자, 오두인(吳斗寅)·박태보(朴泰輔) 등과 소를 올리고 은퇴하여 저술에만 전념하였다. 1694년 갑술환국으로 인현왕후가 복위되자, 다시 관직에 나와 승지·대사간·대제학·공조판서·대사헌을 역임하였다.
1703년 정조사(正朝使)로 청나라에 다녀온 뒤 이조판서·우의정·좌의정·영의정을 거쳐 1716년 행판중추부사(行判中樞府事)가 되었다. 저서로 『만정당집(晩靜堂集)』이 있다. 시호는 문효(文孝)이다.