본관은 연안(延安). 자는 중륜(仲倫), 호는 나헌(懶軒). 할아버지는 내자시윤(內資寺尹) 김해(金侅)이고, 아버지는 지중추부사 김우신(金友臣)이며, 어머니는 지청풍군사(知淸風郡事) 이계충(李繼忠)의 딸이다.
1472년(성종 3) 진사가 되었고, 1489년 식년 문과에 장원으로 급제, 예안현감(禮安縣監) · 홍문관수찬(弘文館修撰)을 역임하였다. 성종이 유신들에게 피폐한 고을의 수령으로 부임하도록 했을 때 예안현감이 되어 선정을 베풀어 백성들이 생사당(生祠堂)을 세우기도 하였다.
1496년(연산군 2) 신용개(申用漑) · 김일손(金馹孫) 등과 함께 사가독서(賜暇讀書: 학문의 진흥을 위해 능력있는 문신들에게 휴가를 주어 독서에 전념하게 하던 제도)한 뒤 전한(典翰)이 되었으며, 춘추관편수관을 겸해 『 성종실록(成宗實錄)』 편찬에 참여하였다.
1498년 무오사화가 일어나자 파직당했다가 1501년 부호군(副護軍)으로 다시 서용되었다. 1504년 성균관대사성에 올랐으나 갑자사화로 다시 좌천되었다. 중종반정 뒤 예조참판 겸 동지경연사(禮曹參判兼同知經筵事)로 승진되었으며, 이어 이조참판 · 호조참판 · 대사헌 등을 역임하였다.
조광조(趙光祖) 등의 사림파가 득세한 1513년에서 1519년 사이에 지중추부사 · 우참찬, 이조 · 형조 · 예조 · 공조의 판서, 한성부판윤 · 우찬성 등을 역임하면서 현량과(賢良科)의 설치 등 사림파의 개혁 정치에 반대론을 전개하였다.
1518년 찬집청당상(撰集廳堂上)으로 신용개 · 남곤(南袞) 등과 함께 『 속동문선(續東文選)』을 편찬해 왕에게 올렸다. 1519년 판중추부사가 되었으며, 남곤 · 심정(沈貞) 등과 함께 기묘사화를 일으켜 조광조 등 사림파를 축출하고 정권을 장악하였다. 그 공로로 원종공신이 되었으며, 우의정을 거쳐 1520년 영의정 겸 세자사(世子師)가 되었다.
항상 청렴결백하고 문장도 잘했으나, 기묘사화를 일으킨 배후 인물로 지목되어 후세에 많은 비난을 받았다. 시호는 충정(忠貞)이다.