본관은 달성(達城). 자는 덕기(德基), 호는 화곡(華谷) 혹은 견지(見志). 서해(徐嶰)의 증손으로, 할아버지는 판서 서성(徐渻)이고, 아버지는 우의정 서경우(徐景雨)이다. 어머니는 지중추부사(知中樞府事) 성염(成恬)의 딸이다.
1627년(인조 5)에 생원시에 장원하고 세자익위사(世子翊衛司)의 세마(洗馬)·부수(副率)를 거쳐 봉림대군(鳳林大君: 뒤의 효종)의 사부(師傅)가 되었다. 1636년의 병자호란 뒤 봉림대군이 볼모로 심양(瀋陽)에 가던 길을 시종하다 마음대로 돌아왔다 하여 청풍(淸風)에 잠시 유배되었다. 그러다가 곧 풀려나 다시 심양에 가서 봉림대군을 모시며 두터운 신임을 얻었다.
귀국하여 공조좌랑을 거쳐 호조정랑에 임명되었으나, 1643년 조세로 면포(綿布)를 거둬들이는 과정에서 부정이 있었다 하여 사헌부의 탄핵을 받고 관직을 삭탈당하였다. 그 뒤 다시 청도군수에 서용되었다가 스스로 물러났다.
이어 1651년(효종 2) 천안군수에 임명되어 새로 제정한 대동법(大同法)을 잘 시행하여 높은 치적을 쌓고 벼슬에서 은퇴하였다. 그 뒤 세자(世子: 뒤의 현종)를 위해 춘궁강관(春宮講官)을 뽑을 때 진선(進善)에 발탁되었다.
장령(掌令)·집의(執義)·승지를 거쳐, 공조참의와 호조참의를 지내고 강원도관찰사에 임명되었다. 1656년에는 경상도관찰사를 역임하고 내직으로 돌아왔다. 1658년 강화유수가 되어 병기(兵器)를 수보(修補)하고 군량미를 확보하며 직장목(直長木)을 포구에 매치(埋置)하여 유사시에 목책(木柵) 가설의 재원으로 삼는 등 효종이 지향하던 북벌계획(北伐計劃)을 도왔다.
1659년 현종이 즉위하자, 동지중추부사 겸 총관(同知中樞府事兼摠管)이 되었다. 이어 한성부우윤을 거쳐 1661년(현종 2) 원두표(元斗杓)의 추천으로 호조참판이 되어 비변사당상(備邊司堂上)을 겸하였다.
그러나 이듬해 궁가설장(宮家設莊)의 폐단을 강력히 주장하고 민전(民田)의 궁가 흡수를 반대하다가 잠시 파직되었으며, 결국 함경도관찰사로 체차(遞差: 관직이 교체됨)되어 이듬해 임지인 함흥에서 죽었다. 과거를 거치지 않고 생원에서 발신(拔身: 몸을 일으킴), 호조참판에까지 이르는 매우 드문 벼슬길을 걸었다.