1376년(우왕 2) 전라도원수 겸 도순문사(全羅道元帥兼都巡問使)가 되어 영암에 침입한 왜구를 물리쳤으며, 다시 전주목사 유실(柳實)과 함께 낭산현(朗山縣)·풍제현(豊堤縣) 등지에 침입한 왜구를 격파하고, 왜적이 노략하였던 소와 말 200필을 빼앗아 그 주인에게 돌려주었다.
그러나 이 해에 임무를 소홀히 하였다는 이유로 사헌부의 탄핵을 받아 평민으로 강등되고, 유실과 함께 먼 지역에서 수졸(戍卒)로 살게 되었다. 곧 풀려나와 이듬해 최영(崔瑩)·변안렬(邊安烈)·유실 등과 함께 해주와 평주(平州: 지금의 황해도 평산)에 입구한 왜적을 물리치고, 뒤에 고성군(高城君)에 봉하여졌다.