1360년(공민왕 9) 홍건적이 서경에 침입해오자 의주와 정주(靜州) 등 인접한 현의 흩어진 백성들을 불러모아 적 150명을 죽이고 그 군량미를 빼앗아 의주를 지킨 공으로 형부상서에 임명되었으나, 1371년 신돈(辛旽)의 당이라 하여 장형(杖刑)을 받고 유배되었다.
그 뒤 1376년(우왕 2)에 경상도원수 겸 도체찰사(慶尙道元帥兼都體察使)에 임명되었으나, 본분을 지키지 않고 경상도의 명기들을 모아 부하 장사들과 더불어 밤낮으로 소주를 즐겨 마시므로 군대 내에서 그 무리들을 소주도(燒酒徒)라고 하였다.
다음 해에 왜구가 침입하여 합포영(合浦營)을 불사르고 그 일대의 현을 공격하여 불사르자, 군사들이 “소주도를 시켜 적을 치게 하라.” 하고 나아가지 않으므로 크게 패하여 혼자 말을 타고 도망하였다.
패군한 죄로 서민으로 강등되어 창녕현에 귀양갔다가 곧 가덕도(嘉德島)에 옮겨졌다. 그 뒤 왕이 옷과 말을 주고 불러서 돌아오게 하였으나, 최영(崔瑩)의 반대로 유배지에서 풀려나오지 못했다.