1361년(공민왕 10) 홍건적(紅巾賊)의 침입으로 개경(開京)이 점령되고 왕이 남천(南遷)할 때, 숙옹부좌사윤(肅雍府左司尹)으로서 왕 및 태후(太后)와 함께 임진강을 건너 남행(南行)하였다. 이때 수종한 공으로 1363년에 신축호종(辛丑扈從) 1등공신이 되었다.
1364년에 서북면도순찰사(西北面都巡察使)를 거쳐 이듬해 밀직사(密直使)가 되었다. 1364년에 한휘(韓暉)·이구수(李龜壽)의 고신(告身: 임명장)에 김제안(金齊顔) 등 간관(諫官)이 서명하지 않은 사건이 일어났다. 이에 왕은 김제안을 처벌하려고 하니, 시중(侍中) 경복흥(慶復興)과 더불어 처벌의 부당함을 아뢰었으나 결국 김제안은 파직당하였다.