본관은 안동(安東). 자는 군서(君瑞). 고려의 명장 김방경(金方慶)의 후손으로, 아버지는 증 승지 김지사(金地四)이며, 형이 김응하(金應河)이다.
1616년(광해군 8) 무과에 급제하여, 선전관(宣傳官)·도총부도사(都摠府都事)·희천군수(熙川郡守) 등을 역임하였다.
1619년 명나라의 요청으로 후금(後金) 정벌에 도원수 강홍립(姜弘立) 등을 파견하자, 형 김응하와 함께 출정하기를 청하였으나 뜻을 이루지 못하였다. 1620년에 강계부사·부령부사·인동부사·정주부사 등을 지내는 동안 청렴결백하여 칭찬을 많이 들었다. 1636년(인조 14) 병자호란 때 별장으로 정방산성(正方山城)을 지켰다.
그러나 적병이 곧장 서울을 공격하자 300명의 기병을 이끌고 진로를 막고 고군분투하였으나, 이기지 못하고 적에게 포위되자 자결하려 하였으나 살아났다. 그 뒤 1647년 어영대장(御營大將)에 올랐다. 형제가 모두 무장으로 이름이 높았다.