1363년(공민왕 12) 홍건적을 물리친 공으로 2등공신에 봉해졌다. 이듬해 왜구가 침입하여 전라도 방면의 조선(漕船)이 통하지 못하게 되므로 이를 토벌하기 위하여 우도병마사로 좌도병마사 이선(李善)과 함께 전선 80여 척을 이끌고 대도(代島)에 이르렀다.
그러나 왜구가 이작도(伊作島)에 매복하고 있다는 정보를 무시하고 진군하다가 왜구의 유인작전에 참패하였을 뿐만 아니라, 병마판관 이분손(李芬孫)과 종랑장 이화상(李和尙) 등이 전사하였으나 이를 도와 싸우지도 않고 도주하였다.
이 싸움에서 대부분의 사졸이 죽었으며 살아 돌아온 것은 변광수·이선 등과 전함 20척뿐이었다. 이러한 참패에도 불구하고 처벌을 받지 않고 1365년에는 공조판서로 승진하였으나, 결국 신돈(辛旽)의 참소로 삼척에 유배되었다.