본관은 광산(光山). 자는 백영(伯榮), 호는 산남(山南). 생원 김유(金綏)의 아들이며, 어머니는 순천김씨(順天金氏)이다. 이황(李滉)의 문인으로 경상북도 예안에서 살았다.
일찍부터 문명(文名)이 있었으나 문과에 실패하고 1549년(명종 4) 무과에 급제한 후 낙안군수·호조정랑·창성부사·이조좌랑·경상좌도병마절도사·첨지중추부사 등을 역임하였다.
선전관(宣傳官)으로 있을 때 빈강청(賓講廳)에서 『춘추좌전(春秋左傳)』을 막힘없이 통해(通解)하여 그의 문명이 더욱 드러났으며, 창성부사로 있을 때 병마절도사 김수문(金秀文)과 함께 서해평(西海坪) 정벌에 공을 세웠다.
관직에서 물러나 경학(經學)에 힘쓰면서 장구(章句)의 분석적 해석보다 근본원리를 자유롭게 종합적으로 통찰함을 학문연구의 토대로 삼았으며, 「자경편(自警編)」을 저술하여 실천을 위주로 하였다. 효성이 지극하였고 지략이 뛰어났다고 한다. 저서로는 『산남집(山南集)』이 있다.