본관은 광산(光山). 자는 회백(晦伯). 김철산(金鐵山)의 증손으로, 할아버지는 김겸광(金謙光)이고, 아버지는 좌참찬 김극핍(金克愊)이며, 어머니는 이철동(李哲仝)의 딸이다.
1513년(중종 8) 진사시에 합격, 1519년 현량과(賢良科)에 병과로 급제하여 홍문관의 부정자(副正字)·저작(著作) 등을 지냈다.
기묘사화 후 현량과가 무효로 된 뒤에 음직(蔭職)으로 남아 있다가, 다시 1524년 별시 문과에 병과로 급제하였다. 이때 모든 현량과 출신들이 쫓겨났으나 홀로 조정에 남아 있어서 사림의 비난을 받았다. 그 뒤 1525년 형조좌랑에 이어 예조참의·도승지·경기관찰사 등을 역임하였다.
명종 연간에 윤원형(尹元衡)과 함께 을사사화를 일으킨 주역으로 윤임(尹任)이 봉성군(鳳城君) 이완(李岏)을 추대하여 대위(大位)를 엿본다고 무고하여, 이른바 을사추성정난공신(乙巳推誠定難功臣)이 되어 광평군(光平君)으로 봉해졌고, 개성유수·형조참판·평안도관찰사·동지중추부사·호조참의·우참찬을 역임하였다.
그 뒤 다시 병조판서·이조판서 겸 판의금부사·의정부좌찬성·지경연사·판돈녕부사 등을 지냈다. 『중종실록(中宗實錄)』에는 “오직 시의(時議)에 따라 붙는 것으로 발신(發身)의 발판으로 삼았다.”고 평하고 있는 것으로 보아, 당시 사림의 지탄의 대상이 되었음을 알 수 있다.
선조가 즉위하자마자 대간의 탄핵을 받아 1567년(선조 즉위년)에 삭탈관직의 주장이 있었고, 죽은 뒤에 충훈부(忠勳府)에서 대신의 예에 따라 장례를 치르도록 함으로써 또다시 그 부당함을 주장하는 논란이 일어났다.