본관은 광산(光山). 자는 의중(毅仲). 김철산(金鐵山)의 증손으로, 할아버지는 좌참찬 김겸광(金謙光)이고, 아버지는 좌찬성 김극핍(金克愊)이며, 어머니는 파성군(把城君) 이철동(李哲仝)의 딸이다.
1522년(중종 17) 생원·진사 양시에 합격하고, 1526년 별시 문과에 장원으로 급제하였다. 이듬해 성균관전적이 된 뒤 사서(司書)·병조좌랑·이조좌랑을 거쳐 1528년 검토관(檢討官)이 되었으며, 이어서 병조정랑·수찬 등을 역임하였다.
1530년 아버지가 시사(時事)를 극언하여 조정에서 미움을 받아 자제가 모두 벼슬에서 쫓겨났다. 1533년 다시 전적에 기용되었으나 반대자들의 질시를 받자 자진하여 양구현감이 되었다.
1537년 다시 내직으로 올라와 예조정랑·교감(校勘)·사성(司成) 등을 거치고 1545년(명종 즉위년) 강원도관찰사가 되었으며, 이듬해 호조참의가 된 뒤 동부승지·우승지·장례원판결사(掌隷院判決事)·병조참의 등을 지냈다.
1561년 대사헌이 되고 이어 우윤(右尹)을 거쳐 경기관찰사에 이르렀다. 성품이 강직하여 권세있는 귀족들을 두려워하지 않았고, 대사헌으로 있을 때 권세가들을 탄핵하다가 파직당하기도 하였다.