본관은 경주(慶州). 자는 옥이(玉耳). 김중성(金仲誠)의 증손으로, 할아버지는 지중추부사(知中樞府事) 김신민(金新民)이고, 아버지는 목사 김태경(金泰卿)이며, 어머니는 변균(卞鈞)의 딸이다.
1492년(성종 23) 사마시에 합격했고, 1495년(연산군 1) 별시 문과에 병과로 급제하였다.
성균관학유·의정부사록·성균관학록과 예문관검열·대교·봉교를 거쳐 1504년 예조좌랑으로 전직되었고, 이듬해 정랑으로 승진되었다. 이어 사도시첨정·성균관사예·승문원교감 겸 세자시강원필선 등을 역임했는데, 봉교 이후 계속해 사직(史職)을 겸임하였다.
1506년 성균관사성 겸 승문원참교를 거쳐, 중종반정 후 사간이 되었으나 김세필(金世弼)의 처벌을 주장하다가 봉상시부정으로 좌천되었다. 다시 장례원정으로 오른 후 이듬해 홍문관전한, 그 이듬해 직제학을 거쳐 우부승지·도승지에 올랐다. 1512년(중종 7) 충청도관찰사로 나갔다가 이듬해 동지중추부사로 경직에 다시 들어왔다.
이어 한성부우윤, 경기도·전라도·경상도의 관찰사와 대사헌 및 공조·형조·병조·호조·예조의 참의 등 요직을 거쳤다. 특히, 1519년 기묘사화 때에는 호조참판으로서 조광조(趙光祖) 일파의 처벌에 참여해 변호하는 태도를 취하였다. 명나라에 진향사(進香使)로 다녀오기도 하였다.
1526년 형조판서가 되었고, 1531년 한성부판윤·지중추부사·공조판서·대사헌 등을 역임한 뒤 좌참찬이 되었으며, 우찬성·판의금부사·오위도총관을 거쳐 좌찬성으로 재임 중 죽었다. 성품이 청렴하고 솔직했으나, 일관된 마음가짐이 없었다는 사신(史臣)의 평가를 받았다. 시호는 공절(恭節)이다.