본관은 경주(慶州). 자는 정서(呈瑞). 김신민(金新民)의 증손으로, 할아버지는 김태경(金泰卿)이고, 아버지는 진안현감 김기(金璣)이며, 어머니는 주명창(周命昌)의 딸이다.
1501년(연산군 7) 생원이 되고, 1509년(중종 4) 별시 문과에 병과로 급제하였다.
승문원정자(承文院正字), 전적(典籍), 예조·형조·병조의 좌랑을 거쳐 1515년 의금부도사·지평(持平)을 역임하였다. 1518년에 갑산부사를 지내고 이듬해 장령(掌令)이 되었고, 사간·집의(執義)·사인(舍人)·정언(正言)·내섬시정(內贍寺正) 등을 거쳐 1527년에는 대사간이 되었다.
이어서 동부승지·형조참의를 거쳐, 1531년 경상도관찰사로 재직시 유배 중인 이종익(李宗翼)의 상소문을 전달한 것이 화근이 되어 파직되었다. 이듬해 함경도관찰사로 기용되었고 1534년 형조판서, 이듬해 동지성균관사(同知成均館事), 1536년 좌참찬을 역임하였다.
1537년에는 특진관(特進官)·병조판서·예조판서를 차례로 역임한 뒤 평안도관찰사로 나갔으며, 1540년에는 사은사로 명나라에 다녀와 한성판윤이 되었다. 1547년 경기도관찰사, 1551년 평안도관찰사·지중추부사(知中樞府事)·지돈녕부사(知敦寧府事)를 역임하였다.
경기도관찰사로 있을 때 황정(荒政: 황폐한 정치)을 바로잡아 칭송이 높았다. 권신 김안로(金安老)와 가까워 주위의 빈축을 받기도 하였으나, 성품이 강직하고 재직시 법을 엄격히 지켜 공정히 처리하였다.