본관은 연안(延安). 자는 중륜(仲倫), 호는 나헌(懶軒). 할아버지는 내자시윤(內資寺尹) 김해(金侅)이고, 아버지는 지중추부사 김우신(金友臣)이며, 어머니는 지청풍군사(知淸風郡事) 이계충(李繼忠)의 딸이다.
1472년(성종 3) 진사가 되었고, 1489년 식년 문과에 장원으로 급제, 예안현감(禮安縣監)·홍문관수찬(弘文館修撰)을 역임하였다. 성종이 유신들에게 피폐한 고을의 수령으로 부임하도록 했을 때 예안현감이 되어 선정을 베풀어 백성들이 생사당(生祠堂)을 세우기도 하였다.
1496년(연산군 2) 신용개(申用漑)·김일손(金馹孫) 등과 함께 사가독서(賜暇讀書: 학문의 진흥을 위해 능력있는 문신들에게 휴가를 주어 독서에 전념하게 하던 제도)한 뒤 전한(典翰)이 되었으며, 춘추관편수관을 겸해 『성종실록(成宗實錄)』 편찬에 참여하였다.
1498년 무오사화가 일어나자 파직당했다가 1501년 부호군(副護軍)으로 다시 서용되었다. 1504년 성균관대사성에 올랐으나 갑자사화로 다시 좌천되었다. 중종반정 뒤 예조참판 겸 동지경연사(禮曹參判兼同知經筵事)로 승진되었으며, 이어 이조참판·호조참판·대사헌 등을 역임하였다.
조광조(趙光祖) 등의 사림파가 득세한 1513년에서 1519년 사이에 지중추부사·우참찬, 이조·형조·예조·공조의 판서, 한성부판윤·우찬성 등을 역임하면서 현량과(賢良科)의 설치 등 사림파의 개혁 정치에 반대론을 전개하였다.
1518년 찬집청당상(撰集廳堂上)으로 신용개·남곤(南袞) 등과 함께 『속동문선(續東文選)』을 편찬해 왕에게 올렸다. 1519년 판중추부사가 되었으며, 남곤·심정(沈貞) 등과 함께 기묘사화를 일으켜 조광조 등 사림파를 축출하고 정권을 장악하였다. 그 공로로 원종공신이 되었으며, 우의정을 거쳐 1520년 영의정 겸 세자사(世子師)가 되었다.
항상 청렴결백하고 문장도 잘했으나, 기묘사화를 일으킨 배후 인물로 지목되어 후세에 많은 비난을 받았다. 시호는 충정(忠貞)이다.