본관은 의성(義城). 자는 자미(子美) 또는 겸가(謙可), 호는 경와(敬窩). 아버지는 김시정(金是楨)이다. 장현광(張顯光)의 문인이다. 어려서부터 재주가 뛰어나 15세 때 향리의 백일장에서 장원한 일이 있었고, 성격이 대쪽 같아 불의를 보고 참지 못하였다.
1617년(광해군 9) 폐모론을 주장하였던 정조(鄭造)가 경상도안찰사로 부임하여 예안(禮安)을 순시하던 길에 도산서원(陶山書院)에 들러 자기 이름을 원록(院錄)에 기재하였는데, 그때 이를 보고 분개하여 유적(儒籍)을 더럽히는 자라며 그 이름을 지워버렸다.
1627년(인조 5) 사마시에 합격하였으나 벼슬길에 나가지 않고 오로지 성리학의 연구에만 힘썼다. 그 뒤 조경(趙絅)의 간곡한 권유와 천거로 강릉참봉에 임명되었으며, 1637년에 부모 유사(遺事)를 찬술하였다.
스승인 장현광의 학통을 계승하여 성리학을 깊이 연구하는 한편, 서책을 도시(圖示)하고 분류, 정리하는 등 우리나라 서지학(書誌學)의 기초를 마련하고 그 발달에 기여한 공로가 크다. 저서로는 『경와집』·『해동문헌총록(海東文獻總錄)』이 있다.