본관은 안동(安東). 자는 미수(眉叟), 호는 만보당(晩保堂). 상락부원군(上洛府院君) 김사형(金士衡)의 후손으로, 할아버지는 동지중추부사 김종숙(金宗淑)이고, 첨지중추부사 김적(金磧)이며, 어머니는 동부승지 안질(安質)의 딸이다.
1474년(성종 5) 생원시에 합격했고, 1477년에 식년 문과에 병과로 급제해 예문관주서(藝文館注書)·홍문관정자(弘文館正字)·사인(舍人)을 거쳐 장령(掌令)에 올랐다. 연산군이 즉위하자 홍문관으로 다시 자리를 옮겨 전한(典翰)·직제학(直提學)·부제학을 역임하였다.
1497년(연산군 3) 동부승지, 이듬해 좌승지를 거쳐, 그 해 여름에 외직으로 전라도관찰사를 역임하고 예조참판이 되었다. 다시 이듬해에 성절사로 명나라에 가서 『성학심법(聖學心法)』 4권을 구해 왔다. 그 뒤 경상도관찰사·이조참판·경기관찰사·형조판서 겸 지춘추관사, 제학 등의 요직을 두루 거쳐, 1504년 47세에 이조판서에 올랐다.
이 해 갑자사화 때 폐비 윤씨의 회릉추숭(懷陵追崇)을 주장, 시행해 연산군의 신임을 받아 정헌대부(正憲大夫)에 가자(加資)되었다. 1506년 어머니 상을 당해 사직하고 물러났으나, 왕명으로 단상(短喪)으로 마치고 3개월 만에 우의정에 부임하였다.
이 때 중종반정에 참여해 좌의정에 오르고 정국공신 2등에 책록되었으며, 영가부원군(永嘉府院君)에 봉해졌다. 사림으로부터 연산군에게 충실했다고 비난받았으나, 1510년 영의정에 올라, 그 때 일어난 왜변의 진압을 총지휘하였다.
품성이 단정했으며, 청탁을 모두 거절하고 검약한 생활을 즐겼다. 연산군 때에는 많은 문신들의 화를 면하게 하였다. 시호는 문경(文敬)이다.