본관은 광산(光山). 자는 사일(士逸), 호는 허주자(虛舟子). 아버지는 김장생(金長生)이고, 어머니는 창녕조씨로 부사 조대건(曺大乾)의 딸이며, 김집(金集)의 아우이다.
송익필(宋翼弼)의 문인으로, 세거지는 충청도 연산(連山)이다. 1605년(선조 38) 사마시에 합격하여 성균관의 거재유생(居齋儒生)이 되었다. 1613년(광해군 5)에 계축옥사가 일어나자 낙향하여 10여년 동안 초야에 은거하며 학문을 탐구하였다.
1623년(인조 1) 인조반정 후 빙고별제(氷庫別提)에 임명되었으나 나가지 않았다. 이듬 해 이괄(李适)의 난 때 인조를 공주로 호종(扈從: 임금이 행차할 때 어가 가까이에서 모시는 일, 또는 그런 일을 하는 사람)하였다가 공주의 행재소(行在所: 임금이 궁궐 밖으로 행차했을 시 머물던 별궁)에서 실시한 정시문과에 급제, 호종의 공으로 성균관전적이 되었다.
그 뒤 형조좌랑·예조좌랑·사간원정언·홍문관수찬·부교리를 거쳐, 1625년 시강원문학(侍講院文學)·사간원헌납·홍문관교리 등을 역임하였다. 1626년 인헌왕후가 죽자 이귀(李貴)의 편견을 배척하였다. 곧 이조좌랑에 임명되고, 이어 정랑에 올랐다.
1627년 정묘호란 때 인조를 강화로 호종하고 돌아와 사인(舍人)·겸보덕(兼輔德)·응교(應敎)·전한(典翰)을 역임하였다. 1635년 병조참지(兵曹參知)·대사간·우부승지·형조참의·대사성·부제학 등을 두루 역임하였다.
이듬 해 병자호란으로 남한산성에 호종하여 왕에게 장병을 독려하도록 건의하였다. 화의가 이루어지자 호종한 공으로 가선대부(嘉善大夫)에 올랐다. 그 뒤 대사성·예조참판·병조참판·대사헌·한성부우윤·대사간·이조참판 등 요직을 역임하였으며, 사후에 영의정에 추증되었다.