1361년(공민왕 10) 홍건적(紅巾賊)이 압록강을 건너 서북면(西北面)에 침입하고 경성(京城: 개성)을 점령했는데, 양백익(梁伯益)이 다음 해 개성윤(開城尹)으로서 개경(開京)을 다시 회복하였고 그 공으로 1363년 경성수복일등공신(京城收復一等功臣)에 서훈(敍勳)되었다.
또한, 1363년 흥왕사(興王寺)의 변(變)이 발생하였을 때 개성윤으로서 적을 토벌한 공으로 흥왕토적일등공신(興王討賊一等功臣)에 서훈되었다. 1364년 지도첨의(知都僉議)를 거쳐 도지휘사(都指揮使)를 역임하고, 1365년에 첨의평리(僉議評理)에 제수되었다.
그러나 신돈(辛旽)의 참소로 춘주(春州: 지금의 강원도 춘천)로 유배되고, 아울러 3품 이상인 관작을 삭탈 당했다. 그리고 우왕(禑王) 초기에는 충혜왕(忠惠王)의 왕자 석기(釋器)가 민간의 딸을 취하여 아들을 낳아 그의 집에 숨겨둔 사건에 연루되어 유배되었다.
1376년(우왕 2) 서해도원수(西海都元帥)를 역임하고, 1377년 찬성사(贊成事)로서 서해도원수가 되어 신천(信川: 황해도 서북부 지역)·문화(文化: 지금의 황해도 신천군 문화면)·안악(安岳)·봉주(鳳州: 황해도 봉산)에 침구한 왜적을 맞아 나세(羅世)·심덕부(沈德符)·박보로(朴普老) 등과 더불어 싸웠으나 패하였다. 그 뒤에 찬성사 상의(贊成事商議)로 있다가, 1379년(우왕 5) 우왕의 유모 장씨(張氏)사건에 연루되어 창녕(昌寧)에 유배되었다.