본관은 연안(延安). 자는 진경(震卿). 할아버지는 증 영의정 김우신(金友臣)이고, 아버지는 공조참의 김흔(金訢)이며, 어머니는 현감 윤지(尹墀)의 딸이다.
1501년(연산군 7)에 진사가 주1, 1509년 별시 문과에 병과로 주2, 승문원부정자(承文院副正字)가 되었으며, 이어서 부수찬(副修撰) · 춘추관기사관(春秋館記事館), 정언(正言) · 병조좌랑 · 호조좌랑 · 강원도도사 · 중추부도사 · 예조정랑 등을 역임하였다.
1519년 부모가 연로하여 지방에 나가 봉양하고자 양산군수를 자원하였다. 1521년 다시 중앙에 돌아와 홍문관교리(弘文館校理)가 되었고, 지평(持平)을 거쳐 이듬해 필선(弼善)이 되었으며, 그 뒤 집의(執義) · 전한(典翰)을 역임하였다.
1524년 평안도경차관(平安道敬差官)으로 주3 허공교(虛空橋)에서 야인에게 패한 이함(李菡) · 한규(韓珪) 등의 죄상을 추국(推鞫)하고 이들을 각각 웅천(熊川)과 순천에 유배하도록 하였다.
1525년 좌부승지가 되고, 이듬해 여주목사로 나갔다가 돌아와 1529년 병조참의를 역임하였다. 1530년에 도승지 · 이조참판을 역임하였으며, 1532년 개성유수를 지냈다. 성품이 순수하고 신중하며 곧아 행동에 교만하거나 꾸밈이 없었고 과묵하였다.