본관은 이천(利川). 증조할아버지는 배천지사 중현대부 감문위대장군(白川知事中顯大夫監門衛大將軍)인 서관(徐貫)이고, 할아버지는 흥위위보승별장봉사(興威衛保勝別將奉使) 서희팔(徐希八)이며, 아버지는 시중(侍中) 서능(徐稜)이다.
1361년(공민왕 10) 홍건적의 침입으로 개경(開京)이 점령되고 왕이 남천(南遷)할 때, 검교평리(檢校評理)로서 왕 및 태후와 함께 임진강을 건너 남행(南行)하여 수종한 공으로 1363년 신축호종(辛丑扈從) 1등공신이 되었다. 벼슬은 금자광록대부 태보장군(金紫光祿大夫太保將軍)에 이르렀다.