아버지는 원종(元宗) 때 몽고에 투항한 송의(宋義)이며, 어머니는 천인(賤人)이다. 매부(妹夫)가 충렬왕(忠烈王) 때 응방(鷹坊)을 관장하였던 윤수(尹秀)이다.
1270년(원종 11) 아버지가 몽고에 투항하려 하자 이를 만류하였으나 뜻을 이루지 못하고 가족들과 함께 몽고로 들어갔다. 몽고에서는 격구(擊毬) 솜씨가 매우 뛰어나 세조(世祖)를 감탄시켰다고 한다.
그러나 아버지가 강수형(康守衡)의 비난을 받아 난처한 입장에 처하게 되자, 이를 원망하면서 가족을 이끌고 고려로 돌아왔다. 원종이 이를 가상히 여겨 어견룡행수(御牽龍行首)로 발탁하였으며, 얼마 뒤에 중금지유(中禁指諭)에 이르렀다. 어머니가 천인이었으므로 3품에 한직(限職)되었으나 승진을 거듭하여 1300년(충렬왕 26)에 밀직부사(密直副使)로서 재추(宰樞)의 반열에 올랐으며, 곧 서북면도지휘사(西北面都指揮使)로 나아갔다가 다음 해에 동지밀직사사(同知密直司事)가 되었다.