본관은 경주(慶州). 자는 인로(仁老). 김계성(金季誠)의 증손으로, 할아버지는 판윤(判尹) 김종순(金從舜)이고, 아버지는 통판(通判) 김치세(金致世)이며, 어머니는 안중담(安仲聃)의 딸이다.
1489년(성종 20) 진사시에 합격하였고, 1496년(연산군 2) 식년 문과에 장원으로 급제하였다.
전적(典籍)과 이조좌랑을 거쳐, 1498년에는 사가독서(賜暇讀書: 문흥을 위하여 유능한 젊은 관료들에게 휴가를 주어 독서에 전념하게 하던 제도)하였다. 이어 홍문관에 들어가 부응교(副應敎)에 올랐다. 학문이 뛰어나고 언동이 강직하며, 정사에 민활하여 촉망을 받았다.
1502년 승문원교감(承文院校勘)으로 성절사(聖節使)를 수행하여 명나라에 다녀온 뒤, 장령(掌令)이 되었다. 이듬해 집의(執義)가 되었으나 병으로 사직하였다. 외유내강하며, 강직한 언사 때문에 재상의 비위를 거슬려 중죄를 입기도 하였다.
그러나 의사를 발표할 때는 반드시 경전에 근거하여 명백하고 조리있게 논평하여 임금의 뜻을 크게 움직였다. 『성종실록(成宗實錄)』의 편찬에 참여하였다. 청빈한 대간으로 칭송을 받았으나, 1503년 35세로 요절하였다.
죽은 이듬해의 갑자사화 때, 앞서 대간으로 재직하면서 정침(鄭沈)의 가자(加資)를 주장한 일로 부관참시(剖棺斬屍)의 추형을 당하였다. 중종반정으로 신원되고 도승지에 추증되었다.