1591년(선조 24) 진사시에 2등으로 합격했으나, 사장학(詞章學)보다는 경전연구와 수양에 전념하였다. 1610년(광해군 2) 헌릉참봉(獻陵參奉)에 제수되었으나, 광해군의 정치에 반대하여 은퇴하였다.
인조반정 후 다시 등용되어 부여현감과 임피현령(臨陂縣令)을 지냈고, 그 뒤 전라도사 · 선공감첨정 등에 거듭 임명되었으나, 나아가지 않고 사직하였다. 이후 학업에 전념하여 정홍명(鄭弘溟)과 태극설(太極說)을 논하였고, 윤선거(尹宣擧) 등과는 상례에 대해 논하였다. 또한 아버지 김장생이 편찬한 『의례문해(疑禮問解)』 등을 교정하고 편집하는 일에 전심전력하였다.
그 뒤 동부승지 · 우부승지 · 공조참판 · 예조참판 · 대사헌 등을 역임하였으나, 오래 머물지 않고 바로 사임하였다. 이에 태학의 유생들이 벼슬에 오래 머물도록 해달라는 소를 올리는 등 사람들에게 그의 덕망은 흠모의 대상이 되었다.
1649년(효종 즉위년) 대임(大任)을 맡겨달라는 김상헌(金尙憲)의 특청을 효종이 받아들여 이조판서에 임명되었다. 이때 효종과 함께 북벌을 계획하기도 하였다. 1653년(효종 4) 좌참찬을 거쳐 이듬해 판중추부사에 임명되었으나, 효종의 각별한 배려에도 불구하고 초야에 묻혀 경전연구와 수양에 힘썼다.
이이(李珥)의 학문과 송익필의 예학(禮學), 그리고 아버지 김장생(金長生)의 학문을 이어받았으며, 그 학문을 송시열에게 전해주어 기호학파를 형성하는데 중요한 역할을 하였다. 저서로는 『신독재문집(愼獨齋文集)』이 있고, 편저로는 『의례문해속(疑禮問解續)』이 있다.
1883년(고종 20) 영의정에 추증되었으며, 문묘와 효종묘에 배향되었다. 연산의 돈암서원(遯巖書院), 임피의 봉암서원(鳳巖書院), 옥천의 창주서원(滄州書院), 황해도 봉산의 문정서원(文井書院), 부여의 부산서원(浮山書院), 광주(光州)의 월봉서원(月峯書院) 등에 제향되었다. 시호는 문경(文敬)이다.