본관은 강릉(江陵). 자는 자유(子由). 김필양(金匹陽)의 증손으로, 할아버지는 김대(金臺)이고, 아버지는 김세훈(金世勳)이며, 어머니는 권송(權悚)의 딸이다.
1513년(중종 8) 생원으로 별시 문과에 병과로 급제하였다. 1529년 평양서윤(平壤庶尹)으로 재직하던 중에 밀양현감으로 있을 때 형벌을 남용했다는 이유로 탄핵을 받았다. 1530년 군자감첨정이 되고 이듬해 장령이 되었다. 1532년 사송(司訟)이 바르지 못하고 지체되는 일이 많자 바르게 고칠 것을 주장하고, 곧 집의가 되었다.
1533년 판교·동부승지·좌부승지를 거쳐 이듬해 우승지·형조참의를 역임하였다. 1535년 장례원판결사로 동지사가 되어 명나라에 다녀온 뒤, 1537년 병조참지가 되었다. 곧, 찰리사에 천거되었으나, 이 직책이 호조에 해당하는 관직이어서 임명되지 못하고 예조참판이 되었다.
같은 해 충청도관찰사가 되었으나, 간원으로부터 인물됨이 용렬하고 공론을 잘 받아들이지 않는다는 탄핵을 받았다. 1542년 안동부사로서 흉년을 힘써 구제하고 검소함을 강조해 백성들을 잘 살게 했으므로, 이 공으로 포상을 받고 자급(資給)을 올려받아 가의대부가 되었다.
1543년 한성부우윤이 되고 1545년(인종 1) 종부시제조가 되었다. 예조참판으로 『중종실록(中宗實錄)』과 『인조실록(仁祖實錄)』의 편찬에 참여하였다. 1547년 첨지중추부사를 거쳐 동지중추부사가 되었다. 전라도관찰사에 임명되었으나 곧 사양하니, 왕이 불러 흉년과 백성들의 기근 구제에 힘써줄 것을 특별히 요구하였다.
1548년 전라도관찰사로 나갔을 때, 고부군수 김응두(金應斗)와 태인현감 신잠(申潛)이 요역과 부세(賦稅)를 감면하는 등 지방 백성들에게 선정을 행하자 왕에게 보고해 상을 받도록 하였다.