본관은 강릉(江陵). 자는 국간(國幹), 또는 국기(國紀). 할아버지는 김귀형(金貴亨)이고, 아버지는 감찰 김종윤(金宗胤)이며, 어머니는 장령(掌令) 곽은(郭垠)의 딸이다.
어려서부터 총민하고 근실하였다. 1525년(중종 20) 생원시에 합격하고 1531년 29세에 식년 문과에 장원으로 급제하여 전적(典籍)에 특별히 서용(敍用)되었다. 곧, 감찰로 전직, 이듬해 견명사절(遣明使節)의 서장관으로 명나라에 다녀왔다.
그 뒤 한성부판관·경기도사(京畿都事)·호조·예조·형조의 좌랑과 정랑을 거치고, 외직으로 나아가 여산군수·보성군수를 지내면서 선정을 베풀었다. 다시 조정에 들어와서 사예(司藝)가 되었는데, 이때 중종이 죽어 국장도감(國葬都監)의 낭관(郎官)을 겸하기도 하였다.
그리고 명종 때에는 장령과 사간을 지내며 관기를 확립하고 민폐의 시정에 힘썼는데, 강직하기로도 유명하였다. 이어서 제주목사가 되어 민정을 주관하였는데, 1552년(명종 7) 연해의 민가를 약탈하고 있던 왜적 100여 인을 사로잡아서 목을 베었다.
그런데 왜적이 아니라 당나라 사람이라는 이야기가 조정에 전해지면서 직무를 잘못 처리하였다고 평안도의 방산진(方山鎭)에 충군(充軍)되었다. 그러나 1555년 제주의 백성들이 선위사(宣慰使)에게 김충렬이 무고하다고 호소하여 사실이 밝혀지면서 직첩이 환급되고 서반(西班)에 제수되어 오위장(五衛將)을 겸임하였다. 이어서 삭녕군수가 되었으나 곧 죽었다.