본관은 대구(大丘). 자는 계용(季容). 판서 서성(徐渻)의 증손으로, 할아버지는 제조(提調) 서경주(徐景霌)이고, 아버지는 남원부사 서정리(徐貞履)이며, 어머니는 형조판서 이시발(李時發)의 딸이다.
1673년(현종 14) 사마시에 합격, 군자감주부(軍資監主簿)를 지내고, 1684년(숙종 10) 정시 문과에 병과로 급제, 이듬해 사헌부지평(司憲府持平)·사간원정언(司諫院正言)을 역임하였다. 이때 간관으로서 인사문제가 잘못되고 있음을 왕에게 과감히 직언하여 칭찬을 받기도 하였다.
이어 홍문관의 수찬(修撰)·교리(校理), 사간원의 헌납(獻納)·사간 등을 두루 거쳐 1688년 동부승지로 승진, 30대의 나이로 당상관에 올랐다. 이듬해 기사환국 때 도승지 이세백(李世白) 등과 함께 송시열(宋時烈)에 대한 삭출명(削黜命)을 거두어줄 것을 왕에게 청하려 하였다가 파직되었다.
1694년 갑술옥사로 정국이 바뀌자 승지로 재등용, 대사간·우승지·대사성을 차례로 역임하고, 1700년 이조참의가 되어 관리 승진규정에 관한 구체적인 대안들을 건의, 그 일부를 시행하게 하였다. 그 뒤 형조참판에 특진되고, 도승지·승문원제조를 거쳐 1704년 사은사의 부사로 청나라에 다녀왔다. 전라도관찰사·형조판서·예조판서·우참찬을 지냈다.
저서로는 『만산유고(晩山遺稿)』가 있다.