본관은 순천(順天). 자는 사수(士秀), 호는 피구자(披裘子) 또는 외암(畏菴). 평산 출신. 선공감정 김약균(金若鈞)의 증손으로, 할아버지는 정주목사 김수렴(金粹濂)이고, 아버지는 찰방 김훈(金壎)이며, 어머니는 신천 강씨(信川康氏)로 부사 강의(康顗)의 딸이다. 영의정 김류(金瑬)의 아버지이다.
선조 즉위년인 1567년에 진사시에 합격하고 1577년(선조 10)에 알성 문과에 장원으로 급제하였다. 문무를 겸비했으나 성품이 호탕하고 법도에 얽매이는 것을 싫어해 높은 벼슬자리에는 등용되지 못하였다.
충주도사(忠州都事), 담양부사를 거쳐, 1591년에는 의주목사로 있었으나, 서인 정철(鄭澈)의 당으로 몰려 파직, 의금부에 투옥되었다.
1592년 임진왜란이 일어나자 도체찰사 유성룡(柳成龍)이 무략에 뛰어남을 알고 옥에서 풀어 자기 막중(幕中)에 두려고 하였다. 그런데 도순변사로 임명된 신립(申砬)이 재능과 용기가 뛰어나고 충의로운 선비임을 알고 자기의 종사관으로 임명해줄 것을 간청해 신립과 함께 출전하였다.
신립이 단월역(丹月驛: 현재의 충주단월역)에 이르러 몇 명의 군졸을 이끌고 왜적의 북상로인 조령(鳥嶺)의 형세를 정찰할 때, 상주(尙州)에서 패주해 온 순변사 이일(李鎰)을 만나 조령 방어의 어려움을 알고 충주로 가 배수의 진을 치기로 결정하였다.
김여물은 이것을 반대하고, 적은 수의 군사로 많은 적을 물리치기 위해서는 먼저 조령을 점령해 지키며, 그렇지 못하면 평지보다는 높은 언덕을 이용해 왜적을 역습하는 것이 좋겠다고 강력히 주장했으나 채택되지 않았다.
결국, 충주의 달천(㺚川)에서 배수의 진을 치고 신립을 따라 탄금대(彈琴臺) 아래에서 용전분투했으나 왜적을 당하지 못해 강에 투신, 순국하였다.
충주 싸움의 패배를 예견하고 아들 김류에게 “삼도(三道)의 근왕병(勤王兵)을 요청했으나 한 사람도 응하는 자가 없다. 우리들이 힘을 다해 싸우나 아무런 도움이 없으니 안타깝다. 남아가 나라를 위해 목숨을 바치는 것은 본시 바라는 바이지만 나라의 수치를 씻지 못하고, 또 장한 뜻이 끝내 이루어지지 못하고 한갓 재가 되어버리니 하늘을 우러러 한숨만 지을 뿐이다.”라는 유언을 남겼다.
또, 가족에게는 “내가 이곳에서 죽더라도 우리 일가는 모두 임금님의 행재소(行在所)로 가서 돕되 결코 난을 피해 다른 곳으로 도망치지 말라.”고 경계하였다.
광해군 초에 충절로써 정려(旌閭)되었다. 그러나 인조반정 뒤에 종래의 포상에 의심스러운 데가 많다고 하여 고쳐진 일도 있으나 1639년(인조 17)에 아들 김류의 청에 의해 다시 정표(旌表)되었다.
뒤에 영의정으로 추증되었으며, 1788년(정조 12)장의(壯毅)라는 시호를 받았다. 그리고 순조 때에는 신립 등과 함께 임진왜란 때 순의(殉義)한 충주달천의 옛터에 제사를 지내 충절을 기렸다.