본명은 야열가(也列哥). 본래 호인(胡人)으로 고려에 귀화하여 공민왕 말년에 밀직부사·동지밀직사사(同知密直司事) 등을 역임하였다.
1374년(공민왕 23)에 명나라 사신 임밀(林密)·채빈(蔡斌) 등이 말을 구해 돌아갈 때, 공마를 호송하는 임무를 맡게 되었는데, 임밀과 채빈은 요구하는 마필의 수가 부족하고, 또 자신의 접대가 부실하다는 이유로 가는 곳마다 행패를 부리며 김의를 죽이려 하였다.
호송 도중 개주참(開州站)에 이르러 채빈을 죽이고 임밀을 납치, 갑사 300명과 말 200필을 갖고 원나라로 도망하였다. 이 사건으로 명나라 태조의 노여움을 사서 오랫동안 명나라와의 외교관계를 냉각시켰고, 강순룡(康舜龍)·조희고(趙希古) 등이 귀양가게 되었다.
우왕에 의해 재산을 몰수당하였으며, 어머니와 처는 사헌부의 간청으로 겨우 죽음만을 면하여 상주의 관비가 되었고, 판사를 지낸 형 김언(金彦)은 하옥되었다.