본관은 연안(延安). 자는 명통(明通). 김수(金脩)의 증손으로, 할아버지는 김원신(金元臣)이고, 아버지는 부사 김면(金勉)이며, 어머니는 이해(李垓)의 딸이다.
1486년(성종 17)에 생원시에 주1 1494년 별시 문과에 병과로 주2
1503년(연산군 9)에 사헌부장령을 지낸 뒤 다음 해 홍귀달(洪貴達)의 유배 사건에 연루되어 서천에 유배되었다가 곧 방환되었다. 1509년(중종 4) 경차관(敬差官)으로 경상도 삼포(三浦)의 왜인들을 추고(推考), 주3 1512년 우부승지 · 좌승지를 거쳐 1515년 홍문관부제학, 대사간이 되었다.
1516년 판결사(判決事) · 충청도관찰사 · 병조참의를 지내고 기묘사화가 일어나자 김안로(金安老)의 일파로 승지가 되었다. 이후 이조참판 · 형조참판을 거쳐 1525년 동지돈녕부사로 있으면서 하정사(賀正使)로서 명나라에 다녀왔고, 다음 해 황해도관찰사 · 동지중추부사 · 한성부우윤 · 대사헌 · 공조참판 · 한성판윤을 지냈다.
1531년 병조판서 · 이조판서 · 판의금부사를 지냈다. 1533년 우의정이 되고 다시 좌의정 겸 세자사부가 되었으며, 1535년 영의정에 올랐다. 1537년에 대간으로부터 김안로의 일파로 탄핵을 받고 김안로가 실각되면서 파직당하여, 하동(河東)으로 유배되었다가 1539년에 배소에서 주4
관직은 매우 순조롭게 승진을 거듭하였으나, 김안로와 정치적인 운명을 함께 하였다.