본관은 광산(光山). 자는 무화(茂和). 김문(金問)의 증손으로, 할아버지는 감찰(監察) 김철산(金鐵山)이고, 아버지는 광성군(光城君) 김겸광(金謙光)이며, 어머니는 중군사직(中軍司直) 진계손(陳繼孫)의 딸이다. 형이 찬성 김극핍(金克愊)이며, 광산부원군(光山府院君) 김국광(金國光)의 조카이다.
사직서영(社稷署令)으로 1519년(중종 14) 식년 문과에 병과로 급제하였다. 여러 차례의 벼슬을 거쳐 병조정랑에 임용되고, 이어서 사헌부지평(司憲府持平)·사간원사간·사도시부정(司䆃寺副正)을 지내고 4년 만인 1522년(중종 17)에 승정원에 들어갔다.
이에 대간들은 그와 같은 특별 발탁은 불가하다고 서용(敍用)을 거부하며 탄핵하였다. 그러나 임금의 신임은 더욱 두터워져 우승지·좌승지를 역임하고 1527년 도승지에 올랐다. 1527년 개성유수를 거쳐, 이듬해에는 경기관찰사가 되어 민정을 주관하였다.
이어서 다시 내직으로 옮겨 형조참판이 되었으나, 이때 작서사건(灼鼠事件)이 일어나자 이에 연루되어 김안로(金安老) 일파에게 탄핵을 받고 삭탈관직되었다.