경상남도 밀양 출신. 장로 김치삼의 장남이다.
1913년 부모를 따라 1백여 명의 이민과 함께 만주 봉천성 유하현 다사탄에 이주하였다. 강계성경학교(江界聖經學校)에서 2년간 공부한 뒤 1919년 유하현 고산자에 있던 한국독립군사관학교에 입학, 지청천(池靑天)·이범석(李範奭) 등의 교관 밑에서 수학하였다. 1922년 9월에 일본군 토벌대에 체포되어 아버지와 함께 죽을 고비를 넘기기도 하였다.
1923년 선천중학교에 입학, 고학으로 공부하여 30세에 졸업하였다. 그 해 평양장로회신학교에 입학하여 평안북도 용천군 양광면 광화교회의 조사(助師)로 시무하였고, 1931년에는 만주·개원 등지의 한국인교회를 순회전도하였으며, 1933년 11월에 평양장로회신학교를 졸업하였다.
1933년 1월에 남만노회(南滿老會)에서 목사안수를 받고, 산성자(山城子)에서 6년간 목회하면서 큰 교회당과 함께 유치원과 성경학교를 세웠다. 1938년에 신사참배 거부로 일본관헌이 그를 만주땅에서 추방하였으므로 평양에 왔다가 다시 화북지방으로 밀항하여 신향·개봉·귀덕 등지에서 6년간 목회하였다. 성서의 말세를 강론하다가 일본헌병대에 체포되어 1944년 12월에 추방당하였다.
1945년 광복을 맞아 다시 산성자교회에서 목회하면서 그 지방의 민중지도자로 추대되었다. 그때, 공산당 연안해방군이 그의 ≪해방≫이라는 소책자를 문제삼아 체포하였으나, 2개월만에 풀려나 봉천으로 피하였다.
만주 봉천 지역이 장개석 치하에서 공산군 치하로 들어가자, 상해에 있던 목사 홍대위와 연락하여 루터교 선교부의 주선으로 제공된 비행기로 한국인들을 천진으로 수송하고, 그 곳에 모인 2천 명의 교포들과 함께 미군이 제공한 상륙함 편으로 1948년 5월에 인천에 상륙하여 귀국하였다.
만주에서 구출한 교인들과 협력해서 서울역 앞에 있는 대동호텔을 매입하여 염천교회(鹽川敎會)를 설립하였다. 6·25전쟁 때는 공산군에 체포되었다가 다행히 피신할 수 있었으며, 1·4후퇴 때 김해로 와서 잠시 목회한 뒤 마산 문창교회에 부임하였다.
일제하의 신사참배 문제로 장로교회가 분열되자, 고려신학측에 대항하여 문창교회의 원로목사로서 경남노회(慶南老會)의 단합을 위하여 헌신하였다.