본관은 선산(善山). 자는 도원(道源), 호는 동명(東溟). 김홍우(金弘遇)의 증손으로, 할아버지는 영흥부사(永興府使) 김효원(金孝元)이고, 아버지는 통천군수 김극건(金克鍵)이며, 어머니는 양천 허씨로 홍문관전한(弘文館典翰) 허봉(許篈)의 딸이다.
22세에 생원·진사시에 합격, 1616년(광해군 8) 증광 문과에서 장원 급제해 예조좌랑이 되었으며, 시강원사서(侍講院司書)를 겸임하였다. 이어 홍문관수찬(弘文館修撰)으로 지제교(知製敎)를 겸하고 전적(典籍)을 거쳐, 1617년에는 정언(正言)이 되었다.
이 해 폐모론을 주장하는 자들을 탄핵하다가 곽산으로 유배, 1년 만에 강릉으로 이배(移配)되었다. 1년 뒤 귀양에서 풀려났지만 벼슬은 하지 못하였다.
1623년 인조반정으로 다시 기용되어, 수찬·헌납(獻納)·교리(校理)를 거쳐, 이듬해 수의어사(繡衣御史)로 충청도를 살폈으며, 지평(持平)·교리·부응교(副應敎)를 역임하였다.
집의(執義)로 있을 때 공신 이귀(李貴)가 이조판서로 자천(自薦)하는 방자함을 왕에게 아뢰다가, 왕의 뜻에 거슬려 1634년 현풍현감으로 좌천되었다.
1636년 통신사를 일본에 파견할 때 부사로 선발되어 다녀온 뒤, 사간을 거쳐 황해도관찰사로 부임하였다. 1638년 동부승지를 거쳐 병조참지와 병조·형조·이조참의, 부제학을 역임하였다.
1641년 늙은 어머니의 봉양을 위해 외직을 자원해 안변도호부사·황해도관찰사를 지내면서, 『근사(近思)』·『소학(小學)』·『성리자의(性理字義)』·『독서록(讀書錄)』 등을 간행하고 향약을 실시하는 등 도민의 교화에 힘썼다. 1644년 평안도관찰사로 옮겼다가 대사헌으로 조정에 들어가 홍문관제학을 겸임했고, 바로 도승지를 거쳐 호조판서로 군현 방납(郡縣防納)의 폐단을 시정하였다.
만년에는 경서 연구에 전력했고, 문장이 아름다웠으며 특히 시문에 능하였다. 김세렴을 가리켜 김류(金鎏)는 ‘진학사(眞學士)’로, 정경세(鄭經世)는 ‘당대 제일의 인물’이라고 칭송하였다. 시호는 문강(文康)이다. 저서로는 『동명집(東溟集)』·『해사록(海槎錄)』 등이 있다.