본관은 연안(延安). 자는 진경(震卿). 할아버지는 증 영의정 김우신(金友臣)이고, 아버지는 공조참의 김흔(金訢)이며, 어머니는 현감 윤지(尹墀)의 딸이다.
1501년(연산군 7)에 진사가 되고, 1509년 별시 문과에 병과로 급제, 승문원부정자(承文院副正字)가 되었으며, 이어서 부수찬(副修撰)·춘추관기사관(春秋館記事館), 정언(正言)·병조좌랑·호조좌랑·강원도도사·중추부도사·예조정랑 등을 역임하였다.
1519년 부모가 연로하여 지방에 나가 봉양하고자 양산군수를 자원하였다. 1521년 다시 중앙에 돌아와 홍문관교리(弘文館校理)가 되었고, 지평(持平)을 거쳐 이듬해 필선(弼善)이 되었으며, 그 뒤 집의(執義)·전한(典翰)을 역임하였다.
1524년 평안도경차관(平安道敬差官)으로 파견되어 허공교(虛空橋)에서 야인에게 패한 이함(李菡)·한규(韓珪) 등의 죄상을 추국(推鞫)하고 이들을 각각 웅천(熊川)과 순천에 유배하도록 하였다.
1525년 좌부승지가 되고, 이듬해 여주목사로 나갔다가 돌아와 1529년 병조참의를 역임하였다. 1530년에 도승지·이조참판을 역임하였으며, 1532년 개성유수를 지냈다. 성품이 순수하고 신중하며 곧아 행동에 교만하거나 꾸밈이 없었고 과묵하였다.