본관은 경주(慶州). 자는 옥이(玉耳). 김중성(金仲誠)의 증손으로, 할아버지는 지중추부사(知中樞府事) 김신민(金新民)이고, 아버지는 목사 김태경(金泰卿)이며, 어머니는 변균(卞鈞)의 딸이다.
1492년(성종 23) 사마시에 합격했고, 1495년(연산군 1) 별시 문과에 병과로 주1
성균관학유 · 의정부사록 · 성균관학록과 예문관검열 · 대교 · 봉교를 거쳐 1504년 예조좌랑으로 전직되었고, 이듬해 정랑으로 승진되었다. 이어 사도시첨정 · 성균관사예 · 승문원교감 겸 세자시강원필선 등을 역임했는데, 봉교 이후 계속해 사직(史職)을 겸임하였다.
1506년 성균관사성 겸 승문원참교를 거쳐, 중종반정 후 사간이 되었으나 김세필(金世弼)의 처벌을 주2 봉상시부정으로 좌천되었다. 다시 장례원정으로 오른 후 이듬해 홍문관전한, 그 이듬해 직제학을 거쳐 우부승지 · 도승지에 올랐다. 1512년(중종 7) 충청도관찰사로 나갔다가 이듬해 동지중추부사로 경직에 다시 들어왔다.
이어 한성부우윤, 경기도 · 전라도 · 경상도의 관찰사와 대사헌 및 공조 · 형조 · 병조 · 호조 · 예조의 참의 등 요직을 거쳤다. 특히, 1519년 기묘사화 때에는 호조참판으로서 조광조(趙光祖) 일파의 처벌에 참여해 변호하는 태도를 주3 명나라에 진향사(進香使)로 다녀오기도 하였다.
1526년 형조판서가 되었고, 1531년 한성부판윤 · 지중추부사 · 공조판서 · 대사헌 등을 역임한 뒤 좌참찬이 되었으며, 우찬성 · 판의금부사 · 오위도총관을 거쳐 좌찬성으로 재임 중 죽었다. 성품이 청렴하고 솔직했으나, 일관된 마음가짐이 없었다는 사신(史臣)의 평가를 받았다. 시호는 공절(恭節)이다.