본관은 선산(善山). 자는 여지(汝知), 호는 둔봉(遯峯). 아버지는 선교랑(宣敎郎) 김숭렬(金崇烈)이다. 정구(鄭逑)에게서 『근사록(近思錄)』과 『태극도설(太極圖說)』을 수업하였고, 장현광(張顯光)의 문인이기도 하다.
1610년(광해군 2)에 진사가 되었고, 1612년 증광 문과에 을과로 급제하였으나 이듬해 인목대비를 폐하자는 논의가 일어나자 관직을 버리고 고향으로 돌아갔다. 1623년 인조반정 뒤 임실현감으로 등용되었으나 같은 해 파직되었다가 다시 전적·사예·예안현감을 역임하였다.
1636년(인조 14) 병자호란이 일어나 국왕이 남한산성에 포위되었다는 소식을 듣고 71세의 고령으로 의병을 규합하여 이끌고 가다가 화의가 성립되었다는 말을 듣고 돌아왔다. 1611년 이후 정인홍(鄭仁弘) 계열과 일반 사람들 사이에 학통을 둘러싸고 논전이 벌어지자 스승 정구를 변호하는 명문의 「한강선생변무소(寒岡先生辨誣疏)」를 올렸다. 성품이 청렴하고 가진 재물이 없어 습격한 도둑들을 감동시켰다는 일화가 전한다. 이황(李滉)을 추모한 도학자로서, 문집으로 『둔봉집(遯峰集)』이 전한다.