본관은 경주(慶州). 자는 덕수(德秀), 호는 명산(明山). 영천 출신. 아버지는 학자 김준(金濬)이다.
13세의 어린 나이로 부친상을 당하여 시묘하자 고을사람들로부터 효성이 지극하다는 평을 들었다. 1549년(명종 4)에 사마시에 합격하여 생원이 된 뒤 벼슬을 단념하고 향촌 교육에 뜻을 두어 각종 서적을 스스로 번역하여 널리 보급하니 배우려는 사람이 많이 몰려왔다.
제자들에게 자신의 고을은 정몽주(鄭夢周)와 같은 훌륭한 인물이 나온 곳으로 ‘해동의 백록동(白鹿洞)’이라고 하면서 정윤량(鄭允良) 등과 함께 재물을 모아 태학(太學: 成均館)의 제도를 본떠 학사를 짓고 이황(李滉)에게 묘우(廟宇)의 액(額)을 청하는 한편, 학규(學規)를 정하여 후배의 교육에 진력하였다.