본관은 안동(安東). 자는 경희(景義). 철원 출신. 고려의 명장 김방경(金方慶)의 후손으로, 아버지는 증 승지 김지사(金地四)이다.
1604년(선조 37) 무과에 발탁되었으나 처음에는 별로 인정을 받지 못하다가, 평소 김응하의 무장적인 재능을 아끼던 박승종(朴承宗)이 병조판서가 되자 비로소 선전관에 제수되었으나, 이듬해 여러 사람의 질시를 받아 파직당하였고, 1608년(광해군 즉위년) 박승종이 전라관찰사로 나가자 다시 기용되어 비장(裨將: 지방 사신을 따라다니던 관원)이 되었다.
1610년에 재차 선전관에 임명되었으며, 영의정 이항복에 의해 경원판관으로 발탁된 뒤 삼수군수(三守郡守)·북우후(北虞侯)를 역임하였다. 1618년(광해군 10) 명나라가 후금을 칠 때 조선에 원병을 청해오자, 부원수 김경서(金景瑞)의 휘하에 좌영장(左營將)으로 있다가 이듬해 2월 도원수 강홍립(姜弘立)을 따라 압록강을 건너 후금정벌에 나섰다.
그러나 명나라 군사가 대패하자, 3,000명의 휘하군사로 수만 명의 후금군을 맞아 고군분투하다가 중과부적으로 패배하고 전사하였다.
이듬해 명나라 신종(神宗)은 용전분투하다가 장렬한 죽음을 당한 데 대한 보답으로 특별히 조서를 내려 요동백(遼東伯)에 봉하였으며, 처자에게는 백금을 하사하였다. 조정에서도 전사를 가상히 여겨 영의정을 추증하였다. 시호는 충무(忠武)이다.