본관은 경주(慶州). 호는 백농(白農). 함경남도 함흥 출신. 아버지 김용준과 어머니 이용원의 장남으로 태어났다. 1924년 함흥고등보통학교를 졸업하고, 수원고등농림학교(水原高等農林學校)에 입학하여 1928년에 졸업하였다.
졸업 후 수원고농민족해방조직인 조선개척사 사건으로 연루되어 부산형무소에서 1928년부터 2년간 복역하였다. 1930년부터 기독교장로회총회 농촌부 기술지도사업에 참여하면서 고향에 사과원을 개설하여 과수원을 경영하면서 과수에 대한 연구와 실험에 전념하였다.
1938년에는 그간의 연구결과와 재배경험을 바탕으로 하여 『실험조선과수재배법(實驗朝鮮果樹栽培法)』을 한국말로 출판하였다.
이 책은 A5판 520쪽에 달하는 순수 우리말로 된 책이었고 처음 나온 책이었기 때문에 전국적으로 대단하여 3판을 거듭했으나 일제 말기에 우리말로 된 출판물의 단속으로 절판되게 되었다. 이 책은 당시 우리 나라 과수재배기술을 진흥시키는데 크게 공헌하였으므로 지금도 높이 평가되고 있다.
1947년에는 국립농업시험장 대구지장장(大邱支場長)으로 부임하여 대구지방의 사과 재배기술을 크게 진흥시켰으며 1949년에는 중앙농업기술원(中央農業技術院) 원예과장으로 부임하여 우리 나라 원예 분야의 연구와 지도에 힘써 발전의 계기를 마련하였다.
1959년에는 경북 농사원장(慶北農事院長)에 부임하여 여러 작물 중 특히 경북의 주산물인 사과 재배기술의 연구와 지도에 진력하여 황폐화되어 가는 우리 나라 사과 재배를 재생시키는데 크게 공헌하였다.
1962년에는 건국대학교 지역사회개발대학 학장으로 자리를 옮겨 농업교육에 종사하게 되었고 1964년에는 건국대학교 농과대학장에 부임하면서 대학운영과 과수강의를 담당하여 많은 후진을 양성하였다.
대학부속 농업자원개발연구소장을 겸직하면서 농업에 대한 연구사업도 강력히 수행하였다. 1966년에는 전북대학교에서 농학박사학위를 받았다. 1972년에는 정년퇴임 후에도 명예교수로 강의를 계속하였다.
1973년에 한국학술원 회원(종신직)으로 추대되어 한국원예계를 대표하는 자리에 있게 되었다. 1990년에는 독립유공자에게 수여되는 건국훈장애족장(대한민국광복회원)이 추서되었다. 저서로는 『실험조선과수재배법』(1938년 한국어로 출간), 『원예전서』, 『과수전지론』, 『과수재배기술』, 『이론실험과수전서』, 『사과왜화재배전서』 등이 있다.