본관은 연안(延安), 자는 명수(命叟)이다. 아버지는 기자전참봉(箕子殿參奉) 김용필(金龍弼)이다.
김언수는 20세인 1593년(선조 26)에 무과에 급제하였다. 임진왜란 중 부원수 막하에서 파총(把摠)으로 활동하였다. 정유년 때 왜적을 추격하여 부산까지 이르렀고 용력을 인정받아 훈련원봉사(訓鍊院奉事)에 제수되었다.
1627년 정묘호란 당시 안주성이 적군의 공격으로 함락을 당하게 되었다. 평안병사 남이흥과 안주방어사 김준 등은 스스로 분사(焚死)하였고, 동포루장(東砲樓將) 김언수와 구성부사 김상의, 복수장 김양언 등은 "불에 몸을 던져 죽는 것은 적을 죽이다가 죽는 것만 못하다."라고 하면서 활을 쏘고 격투를 벌여 많은 적병을 살상한 후 순절하였다.
1681년(숙종 7) 정묘호란 때 순절한 16인의 사우를 안주산성에 짓고, ‘충민사(忠愍祠)’라 사액하였다. 충민사에는 남이흥 · 김준 · 박명룡을 주사(主祠)로, 김언수 · 이상안 · 이희건 · 장돈 · 송덕종 · 김양언 · 김상의 · 윤혜 · 송도남 · 함응수 · 한덕문 · 임충서 · 양진국 등은 동서로 배향(配享)되었다.
김언수로부터 김충일(金忠一) · 김준욱(金遵煜) · 김의견(金義堅)의 자손 4대에 이르는 인물들이 충 · 효로 이름나 정려가 세워졌다. 사후에 병조참의로 추증되었다가, 1868년(고종 5)에 병조참판으로 추증되었다.