본관은 고령(高靈). 자는 성장(成章). 아버지는 진사 김임(金銋)이다.
중종 때 무과에 급제, 야인(野人: 女眞人)들이 함경도 종성에 침입하여 사람들을 납치해가자, 1535년(중종 30) 영건만호(永建萬戶)로서 전투에 참가하여 끌려갔던 사람들을 데리고 왔다.
1546년(명종 1) 동래현령(東萊縣令)이 되어 그해 관리로서 근면, 절검하고 특히 치민(治民)에 힘써 가자(加資: 관직과 품계가 올라감)되었다. 1548년에는 김해부사가 되어 구황에 힘써 포상을 받은 바 있다.
1555년 을묘왜변이 일어났을 때 남해안에 침입한 왜적이 대패하고 쫓겨가던 1,000여 명의 왜적이 제주를 기습하자, 제주목사로서 정예병 70명을 뽑아 적진에 돌입시켜 용전을 벌이게 함으로써 많은 적을 사살하고 승리를 거두었으며, 그 전공으로 가자되었다.
이듬해 6월 다시 왜적선 5척이 침입하자 이를 격침하고 적의 머리 130여 급을 벤 공으로 또 가자되었으며, 1558년 지중추부사(知中樞府事)에 이어 1563년 한성판윤(漢城判尹)에 특진되고, 1565년 평안도병마절도사가 되어 여러 번 호인(胡人)의 침입을 격퇴하여 북변방어에 공을 세웠다.
평소 책읽기를 좋아하였으며, 탐라에서 왜적을 몰아내고, 서북으로는 호인을 물리쳐 나라의 간성이 되었다.