본관은 이천(利川). 할아버지는 좌복야를 지낸 서유걸(徐惟傑)이고, 아버지는 평장사를 지낸 서정(徐靖)이다. 어머니는 평장사를 지낸 김원정(金元鼎)의 딸이며, 처는 급사중을 지낸 이당감(李唐鑑)의 딸이다. 아들 서순(徐純)은 1170년(의종 24)의 무신란 때 피살되었다.
성종(成宗) 때 재상을 지낸 증조 서희(徐熙)의 음덕으로 관직에 진출하고 흥례군(興禮郡: 지금의 울산) 등에 부임하여 정치를 잘하였다. 판장작감사(判將作監事)로 벼슬에서 물러났다.