본관은 광산(光山). 자는 견중(堅仲). 김약시(金若時)의 증손으로, 할아버지는 목사 김화(金華)이고, 아버지는 평양서윤(平壤庶尹) 김순성(金順誠)이며, 어머니는 성균관사(成均館事) 한집(韓緝)의 딸이다.
1496년(연산군 2)에 사마시에 합격하여 생원이 되고, 1504년 식년 문과에 을과로 급제하여 1507년 정언이 된 뒤 지평·장령 등 언관(言官)을 두루 거쳤으며, 1513년 함경도 암행어사를 다녀왔으며, 사신으로 두 번이나 명나라에 다녀왔다.
1516년 경연(經筵)의 참찬관(參贊官)으로서 단종과 연산군이 비록 쫓겨난 군주이지만 입후종사(立後從祀)하여야 마땅함을 주장하였다. 같은 해 대사간·홍문관부제학 등을 지내고 이듬해 전라도수군절도사가 되었다.
1523년 승정원동부승지와 우부승지, 경상도관찰사 등을 두루 거쳐 공조참판이 되었다. 그 뒤 평안도관찰사·동지중추부사·충청도관찰사 등을 두루 역임하였으며, 1525년 경연특진관이 되었다.