본관은 청풍(淸風). 자는 백후(伯厚), 호는 잠곡(潛谷) · 회정당(晦靜堂). 기묘팔현(己卯八賢)의 한 사람인 김식(金湜)의 4대손이며, 할아버지는 군자감판관 김비(金棐)이고, 아버지는 참봉 김흥우(金興宇)이며, 어머니는 현감 조희맹(趙希孟)의 딸이다.
1605년(선조 38)에 사마시에 합격해 성균관으로 들어갔다. 1609년(광해군 1)에 동료 태학생들과 함께 청종사오현소(請從祀五賢疏: 金宏弼 · 鄭汝昌 · 趙光祖 · 李彦迪 · 李滉 등 5인을 문묘에 향사할 것을 건의하는 소)를 올린 것이 화근이 되어 문과에 응시할 자격을 박탈당하자, 성균관을 떠나 경기도 가평 잠곡 청덕동에 은거하였다.
청덕동에 머물며 회정당을 짓고 홀로 학문을 닦으니, 이 때부터 스스로 호를 잠곡이라 하였다. 1623년에 서인의 반정으로 인조가 즉위하자 의금부도사에 임명되었으며, 이듬해 2월에는 음성현감이 되어 목민(牧民)의 직분을 다하는 한편, 증광 문과에 장원으로 급제하였다.
이 해 10월에 정언(正言)에 임명되었으며, 1633년 9월에 안변도호부사(安邊都護府使)로 나가 청나라의 침입에 대비하는 중요한 직임을 맡기도 하였다.
이어 동지성절천추진하사(冬至聖節千秋進賀使)로 명나라에 갔다온 뒤 예조참의 · 우부승지 · 장례원판결사를 거쳐 1638년 6월에 충청도관찰사에 올랐다.
도정(道政)에 임해 대동법의 시행을 건의하는 한편, 수차(水車: 무자위 · 물레방아)를 만들어 보급했으며, 『구황촬요(救荒撮要)』와 『벽온방(辟瘟方)』 등을 편찬, 간행하다가 승정원좌부승지가 되었다.
이후 형조참의 겸 대사성 · 대제학 · 대사간 · 병조참의 · 한성부우윤 · 도승지 겸 원손보양관(元孫輔養官) · 병조참판 · 이조참판 겸 비변사유사제조(備邊司有司提調) · 형조판서 겸 선혜청제조 · 우참찬 · 대사헌 · 예조판서 · 도총부도총관 · 개성부유수 등의 현직(顯職)을 지내면서 중국에 두 차례(1643년과 1645년)나 더 다녀왔다.
그리고 그 과정에서 화폐의 주조 · 유통, 수레의 제조 · 보급 및 시헌력(時憲曆)의 제정 · 시행 등에 착안하고 노력하는 한편, 『유원총보(類苑叢寶)』 · 『황명기략(皇明紀略)』 · 『종덕신편(種德新編)』 · 『송도지(松都誌)』 등을 저술, 간행하기도 하였다.
1649년 5월 효종의 즉위와 더불어 대사헌이 되고 이어서 9월에 우의정이 되자, 대동법의 확장 시행에 적극 노력하였다.
그러나 대동법의 실시를 반대하는 김집(金集)과의 불화로 이듬해 1월에 중추부영사(中樞府領事)로 물러앉아 다시 진향사(進香使)로 중국에 다녀왔다.
71세의 늙은 몸을 무릅쓰고 중국에 다녀온 뒤, 잠시 향리에 머무르다가 이듬해 1월에 영의정에 임명되고, 실록청총재관(實錄廳摠裁官)을 겸하였다.
대동법의 확장 실시에 또다시 힘을 기울여 충청도에 시행하는 데 성공했고, 아울러 민간에 주전(鑄錢)을 허용하는 일도 성공하였다.
그리고 12월에는 원임(原任) 정태화(鄭太和)가 영의정에 복귀함에 따라 좌의정으로 지내면서도 대동법 시행에 따른 몇 가지 문제점을 개선하는 한편, 『해동명신록(海東名臣錄)』을 저술하고 『인조실록(仁祖實錄)』을 완성하기도 하였다.
1654년 6월에 다시 영의정에 오르자 대동법의 실시를 한층 확대하고자 「호남대동사목(湖南大同事目)」을 구상하고, 이를 1657년 7월에 효종에게 바쳐 전라도에도 대동법을 실시하도록 건의하였다.
그러나 이 건의에 대한 찬반의 논의가 진행되는 가운데 죽어, 이 사업은 유언에 따라서 서필원(徐必遠)에 의해 뒷날 성취되었다.
저술로는 시 · 문을 모은 『잠곡유고(潛谷遺稿)』(11권 10책) · 『잠곡별고(潛谷別稿)』 · 『잠곡유고보유(潛谷遺稿補遺)』 · 『잠곡속고(潛谷續稿)』가 전한다. 그리고 앞에서 소개한 것 이외에 『천성일록(天聖日錄)』 · 『청풍세고(淸風世稿)』 · 『조천일기(朝天日記)』 · 『기묘록(己卯錄)』 · 『잠곡필담(潛谷筆談)』 · 『당삼대가시집(唐三大家詩集)』 등이 전하며, 「자네집에 술닉거든」이라는 시조 1수도 전한다.
이 중에서도 특히 『유원총보(類苑叢寶)』는 우리 나라의 학문적 역량을 키우기 위해 편찬된 최초의 백과사전으로 주목된다. 그리고 『구황촬요(救荒撮要)』 · 『벽온방(辟瘟方)』 · 『종덕신편(種德新編)』 등은 목민자(牧民者)의 각성을 촉구하는 안민(安民)의 한 방책으로서, 위민적(爲民的) 생애의 단면을 보이는 저술이라고 하겠다.
이와 같은 저술을 널리 보급하기 위해 직접 활자를 제작하고 인쇄하는 데에도 많은 노력을 기울였다. 그리하여 이러한 사업은 자손 대까지 하나의 가업(家業)으로 계승되어 우리 나라 주자(鑄字)와 인쇄 사업에 크게 기여하였다.
무덤은 경기도 남양주시 삼패동에 있다. 양근(楊根)미원서원(迷源書院)과 청풍봉강서원(鳳岡書院), 강동(江東)계몽서원(啓蒙書院), 개성숭양서원(崧陽書院) 등에 배향되고, 1704년(숙종 30)에는 가평의 선비들이 건립한 잠곡서원(潛谷書院)에 홀로 제향되었다. 시호는 문정(文貞)이다.