본관은 안동(安東). 초명은 김제민(金齊閔), 자는 경지(敬之), 호는 척약재(惕若齋) 또는 육우당(六友堂). 첨의중찬 김방경(金方慶)의 현손으로 김묘(金昴)의 아들이다.
공민왕 때 16세로 진사에 합격하고, 왕명으로 모란시(牡丹詩)를 지어 일등을 하여 왕으로부터 산원직(散員職)을 받았다. 18세에 과거에 급제해 덕녕부주부(德寧府注簿)가 되었다. 1367년(공민왕 16) 성균관이 중건되자, 민부의랑겸성균직강(民部議郎兼成均直講)이 되어 정몽주(鄭夢周) · 박상충(朴尙衷) · 이숭인(李崇仁) 등과 함께 후학의 훈화에 노력해 성리학을 일으키는 일익을 담당하였다.
1375년(우왕 1) 삼사좌윤(三司左尹)이 되었을 때, 이인임(李仁任) 등 권신들이 북원(北元)이 보낸 사절을 맞으려 하자, 이숭인 · 정도전(鄭道傳) 등 당시 친명파와 함께 도당(都堂)에 상서해 이를 반대하다가 죽주(竹州)에 귀양갔다. 뒤에 여흥(驪興)으로 옮겨 강호에 노닐며 거처하는 곳을 육우당이라 이름하고, 시와 술로 날을 보냈다.
1381년(우왕 7)에 좌사의대부(左司議大夫)가 되어 왕의 절제 없는 거둥을 경계하는 글을 올려 직간하였다. 이듬해 성균관대사성이 되었다가 판전교시사(判典校寺事)가 되었다. 1384년 행례사(行禮使)가 되어 명나라에 갈 때, 국서와 함께 백금 1백냥과 세저(細苧) · 마포 각 50필을 가지고 갔다. 요동에서 체포되어 명나라 서울 남경(南京)으로 압송되었는데, 명나라 태조의 명으로 대리위(大理衛)에 유배되던 도중 노주 영녕현(瀘州永寧縣)에서 병사하였다.
김구용은 사장(詞章)을 잘해, 특히 시로 유명하였다. 이색(李穡)은 그의 시를 가리켜, “붓을 대면 구름이나 연기처럼 뭉게뭉게 시가 피어나온다.”고 하였다. 『동문선(東文選)』에 김구용의 시 8편이 수록되어 있는데, 그 가운데 특히 무창시(武昌詩)가 유명하다. 허균(許筠)은 이 시를 들어 청섬(淸贍)하다 하였고, 신위(申緯)도 ‘동인논시절구(東人論詩絶句)’에서 김구용의 시를 들어 감탄하고 있다. 문집인 『척약재집(惕若齋集)』이 전하고 있다.
전북특별자치도 남원시 주생면 상동리의 용장서원(龍章書院)에 배향되었다.