본관은 청도(淸道). 자는 계응(季應), 호는 병산(缾山). 좌참찬 김점(金漸)의 현손으로, 할아버지는 김영우(金靈雨)이고, 아버지는 김현(金俔)이며, 어머니는 전윤서(全允序)의 딸 전의인이다.
1528년 이황(李滉)과 함께 사마시에 합격하고, 1537년 식년 문과에 을과로 급제하여 검열을 지냈다.
1545년(명종 즉위) 8월에 윤원형(尹元衡)이 왕의 명이라 하여 양사(兩司)를 협박, 윤임(尹任)·유관(柳灌)·유인숙(柳仁淑) 등을 탄핵하려 하자 대사간 김광준(金光準)과 대사헌 민제인(閔齊仁)이 윤임 등을 대역으로 논하려 하여 집의 송희규(宋希奎), 지평 민기문(閔起文), 사간 박광우(朴光佑) 등과 함께 이를 반대하다가 모두 파직되었다.
1547년(명종 2) 양재역벽서사건(良才驛壁書事件)으로 이기(李芑)·윤원형 등의 청에 의하여 남해로 유배되었고, 1565년에 감형되어 단양으로 이배(移配)되었다.
선조 초에 이준경(李浚慶)의 청으로 풀려나와 기대승(奇大升)의 주장으로 학행이 출중한 선비로 추천되어 집의·응교·직제학 등을 지내고 대사간에 이르렀으나, 1569년 사류망담(士類妄談)의 잘못을 논하다가 파직되었다. 영주 오산사(梧山祠)에 제향되었다. 저서로는 『병산유집(缾山遺集)』이 있다.