본관은 안동(安東). 자는 명보(明甫). 김승(金陞)의 증손으로, 할아버지는 김종숙(金宗淑)이고, 아버지는 좌의정 김질(金礩)이며, 어머니는 영의정 정창손(鄭昌孫)의 딸이다.
1492년(성종 23) 적성현령을 지내던 중 그해 식년 문과에 갑과로 급제하여 당상관으로 승진하였다. 이어 부평부사에 임명되어 직무를 공정하게 처리하고 백성들을 잘 다스려 칭송받았다.
부평부사로 취임한 지 2년이 되기도 전에 선정(善政)이 조정에 보고되어 가선대부로 승진하였다. 공무에 성실하고 인품이 뛰어나 사람들로부터 모두 재상감이라는 기대를 모았으나 곧 죽었다. 박처륜(朴處綸)과 함께 성종대에 가장 유능하고 성실한 관리로 지칭되었다.