본관은 안동(安東). 자는 미수(眉叟), 호는 만보당(晩保堂). 상락부원군(上洛府院君) 김사형(金士衡)의 후손으로, 할아버지는 동지중추부사 김종숙(金宗淑)이고, 첨지중추부사 김적(金磧)이며, 어머니는 동부승지 안질(安質)의 딸이다.
1474년(성종 5) 생원시에 주1, 1477년에 식년 문과에 병과로 주2 예문관주서(藝文館注書) · 홍문관정자(弘文館正字) · 사인(舍人)을 거쳐 장령(掌令)에 올랐다. 연산군이 즉위하자 홍문관으로 다시 자리를 옮겨 전한(典翰) · 직제학(直提學) · 부제학을 역임하였다.
1497년(연산군 3) 동부승지, 이듬해 좌승지를 거쳐, 그 해 여름에 외직으로 전라도관찰사를 역임하고 예조참판이 되었다. 다시 이듬해에 성절사로 명나라에 가서 『성학심법(聖學心法)』 4권을 구해 왔다. 그 뒤 경상도관찰사 · 이조참판 · 경기관찰사 · 형조판서 겸 지춘추관사, 제학 등의 요직을 두루 거쳐, 1504년 47세에 이조판서에 올랐다.
이 해 갑자사화 때 폐비 윤씨의 회릉추숭(懷陵追崇)을 주장, 시행해 연산군의 신임을 받아 정헌대부(正憲大夫)에 가자(加資)되었다. 1506년 어머니 상을 당해 사직하고 물러났으나, 왕명으로 단상(短喪)으로 마치고 3개월 만에 우의정에 부임하였다.
이 때 중종반정에 참여해 좌의정에 오르고 정국공신 2등에 책록되었으며, 영가부원군(永嘉府院君)에 주3. 사림으로부터 연산군에게 충실했다고 비난받았으나, 1510년 영의정에 올라, 그 때 일어난 왜변의 진압을 총지휘하였다.
품성이 단정했으며, 청탁을 모두 거절하고 검약한 생활을 즐겼다. 연산군 때에는 많은 문신들의 화를 면하게 하였다. 시호는 주4