본관은 연안(延安). 자는 명통(明通). 김수(金脩)의 증손으로, 할아버지는 김원신(金元臣)이고, 아버지는 부사 김면(金勉)이며, 어머니는 이해(李垓)의 딸이다.
1486년(성종 17)에 생원시에 합격하였고, 1494년 별시 문과에 병과로 급제하였다.
1503년(연산군 9)에 사헌부장령을 지낸 뒤 다음 해 홍귀달(洪貴達)의 유배 사건에 연루되어 서천에 유배되었다가 곧 방환되었다. 1509년(중종 4) 경차관(敬差官)으로 경상도 삼포(三浦)의 왜인들을 추고(推考), 단속하였고, 1512년 우부승지·좌승지를 거쳐 1515년 홍문관부제학, 대사간이 되었다.
1516년 판결사(判決事)·충청도관찰사·병조참의를 지내고 기묘사화가 일어나자 김안로(金安老)의 일파로 승지가 되었다. 이후 이조참판·형조참판을 거쳐 1525년 동지돈녕부사로 있으면서 하정사(賀正使)로서 명나라에 다녀왔고, 다음 해 황해도관찰사·동지중추부사·한성부우윤·대사헌·공조참판·한성판윤을 지냈다.
1531년 병조판서·이조판서·판의금부사를 지냈다. 1533년 우의정이 되고 다시 좌의정 겸 세자사부가 되었으며, 1535년 영의정에 올랐다. 1537년에 대간으로부터 김안로의 일파로 탄핵을 받고 김안로가 실각되면서 파직당하여, 하동(河東)으로 유배되었다가 1539년에 배소에서 죽었다.
관직은 매우 순조롭게 승진을 거듭하였으나, 김안로와 정치적인 운명을 함께 하였다.