본관은 대구(大邱). 자는 자순(子順), 호는 송강(松岡). 아버지는 판중추부사 서성(徐渻)이며, 어머니는 여산송씨(礪山宋氏)로 송영(宋寧)의 딸이다. 부인이 선조의 딸이다.
1592년 정신옹주(貞愼翁主)와 혼약하였으나 임진왜란이 일어나 혼례를 올리지 못하고 선조를 호종하였다. 이듬해 환도한 뒤 혼례를 올려 달성위(達城尉)에 봉해졌다. 정유재란 때는 선조의 총애를 받아 총관 겸 상방제조(摠管兼尙方提調)로서 항상 측근에서 시종하였다. 이때 『선원록(璿源錄)』을 감수한 공로로 통헌대부·봉헌대부로 계속 품계가 올랐다. 광해군 때, 선조의 계비 인목왕후(仁穆王后)에 대한 폐모론이 일어나자, 아버지 서성과 함께 반대하다가 아버지는 영해(寧海)로 유배되었고 그 역시 크게 서용되지 못하였다.
1623년 인조반정으로 아버지가 복직되고, 이듬해 이괄(李适)의 난이 일어났을 때, 인조를 호종한 공이 인정되어 숭덕대부로 품계가 올랐다. 상례를 끝마치고 금화내자제조(禁火內資提調)를 겸하였다. 1627년 정묘호란이 일어나자 인조를 따라서 온 가족이 강화도로 피난을 갔지만 정신옹주가 피난생활을 힘들어한다는 이유로 서울로 돌아왔다. 사헌부에서 국가와 존망을 함께해야할 근신(近臣)과 거실(巨室)의 행위가 아니라며 삭탈관직을 청하자 인조가 그를 파직시켰다. 1631년(인조 9) 아버지가 죽자 잠시 관직에서 물러났다가, 만년에 다시 상방원(尙方院) 및 관상감(觀象監) 제조와 총관(摠管)을 겸하였다.