본관은 안동(安東). 자는 문서(文瑞). 김삼근(金三近)의 증손으로, 할아버지는 김계권(金係權)이고, 아버지는 장령 김영수(金永銖)이며, 어머니는 강릉김씨(江陵金氏)로 현령 김박(金博)의 딸이다.
1498년(연산군 4) 진사에 합격하고, 1513년 식년 문과에 갑과로 급제, 군자감직장을 거쳐 성균관전적·예조좌랑·병조좌랑·경기도사·헌납·이조정랑·병조정랑·예조정랑·제용감첨정·평양서윤·시강원문학 등을 역임하였다.
전적 때 관북지방에 가뭄과 메뚜기 피해로 기근이 들어 많은 사람이 죽어 가는데도 삼남(三南)의 곡식을 조운할 마땅한 사람을 고르지 못할 때 낮은 관직으로 뽑혀 명성과 경륜이 알려지기 시작했다.
평양서윤이었던 1523년 관서지방에 전염병이 만연하자, 둔전책(屯田策)을 건의하고 농업에 힘쓰고 민식(民食: 백성들을 위한 식량)과 창름(倉廩: 관곡을 쌓아두는 창고)을 넉넉히 하며 군졸에게 잡다한 세(稅)를 없애주어 백성의 주거를 편안하게 하였다.
그러나 뒤에 요승(妖僧) 학조(學祖)의 조카라 하여 탄핵을 받았고, 재물에 대한 탐욕이 지나쳐서 당시 사림들로부터 많은 비판을 받았다.