본관은 연안(延安). 자는 이숙(頤叔), 호는 희락당(希樂堂)·용천(龍泉)·퇴재(退齋). 할아버지는 지중추부사(知中樞府事) 김우신(金友臣), 아버지는 공조참의(工曹參議) 김흔(金訢)이며, 어머니는 윤지(尹墀)의 딸이다.
1501년(연산군 7) 진사가 되었고, 1506년(연산군 12) 별시 문과에 장원으로 급제하였다. 전적(典籍)에 처음 임명된 뒤 수찬(修撰)·정언(正言)·부교리(副校理) 등 청환직(淸宦職: 학식과 문벌이 높은 사람에게 내리는 관직)을 역임하였다.
1511년 유운(柳雲)·이행(李荇) 등과 함께 사가독서(賜暇讀書)했고, 직제학(直提學)·부제학·대사간 등을 거쳤으며 일시 경주부윤으로 나갔다. 1519년 기묘사화로 조광조(趙光祖) 일파가 몰락한 뒤 발탁되어 이조판서에 올랐다.
아들 김희(金禧)가 효혜공주(孝惠公主)와 혼인해 중종의 부마(駙馬)가 되자, 이를 계기로 권력을 남용하다가 1524년 영의정 남곤(南袞)·심정(沈貞), 대사간 이항 등의 탄핵을 받고 경기도 풍덕(豊德)에 유배되었다.
남곤이 죽자 1530년 유배 중이면서도 대사헌 김근사(金謹思)와 대사간 권예(權輗)를 움직여 심정의 탄핵에 성공하고, 이듬해 유배에서 풀려나 다시 서용되어 도총관(都摠管)·예조판서·대제학을 역임하였다. 그 뒤 이조판서를 거쳐 1534년 우의정이 되었으며, 이듬해 좌의정에 올랐다.
1531년 다시 임용된 이후부터 동궁(東宮: 인종)의 보호를 구실로 실권을 장악해 허항(許沆)·채무택(蔡無擇)·황사우(黃士佑) 등과 함께 정적(政敵)이나 뜻에 맞지 않는 자를 축출하는 옥사(獄事)를 여러 차례 일으켰다.
정광필(鄭光弼)·이언적(李彦迪)·나세찬(羅世纘)·이행(李荇)·최명창(崔命昌)·박소(朴紹) 등 많은 인물들이 이들에 의해 유배 또는 사사되었으며, 경빈 박씨(敬嬪朴氏)와 복성군(福城君)이미(李嵋) 등 종친도 죽음을 당했다. 또한 왕실의 외척인 윤원로(尹元老)·윤원형(尹元衡)도 실각당하였다.
1537년 중종의 제2계비인 문정왕후(文定王后)의 폐위를 기도하다가 발각되어 중종의 밀령을 받은 윤안인(尹安仁)과 대사헌 양연(梁淵)에 의해 체포되어 유배되었다가 곧이어 사사되었다.
허항·채무택과 함께 정유삼흉(丁酉三凶)으로 일컬어진다. 저서로는 『용천담적기(龍泉談寂記)』·『희락당고(希樂堂稿)』 등이 있다.