본관은 달성(達城). 자는 우경(虞卿), 호는 약허(若虛). 서형리(徐亨履)의 증손으로, 할아버지는 서문도(徐文道)이고, 아버지는 선공감감역(繕工監監役) 서종신(徐宗愼)이며, 어머니는 김회영(金會英)의 딸이다. 영조 비 정성왕후(貞聖王后)의 사촌이다.
1717년(숙종 43) 식년 문과에 병과로 급제하여 승문원정자(承文院正字)로 보임되었다.
1722년(경종 2) 영조가 왕세제(王世弟)로 있을 때 소론(少論)의 과격파인 김일경(金一鏡) 등이 환관 박상검(朴尙儉)·문유도(文有道) 등을 시켜 세제를 죽이려 하자 이를 탄핵하여 음모를 막았다.
영조가 즉위한 뒤 강원도도사(江原道都事)로 나갔고, 1725년(영조 1) 세자시강원의 사서(司書)·필선(弼善)·보덕(輔德), 사헌부집의(司憲府執義)·사간원헌납(司諫院獻納)을 지내고, 1731년 사간, 홍문관부응교(弘文館副應敎), 승지를 거쳐 1741년 개성유수가 되었다.
이듬해 사은부사(謝恩副使)로 청나라로 갔다가 귀국한 뒤 한성부좌윤을 지내고 대사헌·경기관찰사·한성부우윤·공조참판·동지의금부사를 역임하였다. 1752년 전라도관찰사가 되어 과중한 조세부담을 삭감하게 하고 관하지방관들의 부정을 엄격히 처벌하는 등 치적을 올렸다.