1363년(공민왕 12)에 흥왕사(興王寺)의 행궁(行宮)에 침입한 김용(金鏞) 일당을 토멸한 공과 홍건적을 물리치고 경성을 수복한 공으로 1등공신이 되었다.
이듬해 최유(崔濡)가 원나라 황제에게 참소하여 공민왕을 폐하고 덕흥군을 옹립하여 요양성(遼陽城)의 군사 1만 명으로 압록강을 건너 침입해오자, 도지휘사(都指揮使) 안우경(安遇慶)의 명을 받아 병마사로서 옥천계(玉天桂)와 함께 요해처를 나누어 방어하였다.
1377년(우왕 3) 강화부(江華府)의 만호(萬戶)로 재직 중 왜구가 37척의 배로 침입해오자, 부사 곽언룡(郭彦龍)과 함께 마니산으로 도망하여 강화가 심하게 약탈당하였다. 이에 왕이 최영(崔瑩)을 도통사로 삼아 승천부(昇天府)를 방비하게 하여 적을 물리치고, 한편으로는 패군한 죄를 물어 김지서를 유형에 처하였다.