호는 운계(雲溪). 황해도 신계 출생. 아버지는 김상일이며, 어머니는 홍사덕이다. 어려서부터 유학 교육을 받아 여러 경전들을 두루 섭렵하였고, 황해도 평산군의 대성학교에서 신학문도 배웠다.
어릴 때 어머니가 병환으로 고생하는 것을 보고 한의학에 뜻을 두어 17세가 되던 해에 황해도 송림시에 위치한 동양의학원(東洋醫學院)을 찾아가 당시 의술로 유명했던 김태희(金泰希)에게서 한의학(韓醫學)을 전수받았다. 여기에서 5년간 의술을 연마한 후에 의생시험(醫生試驗)에 합격하여 한의사가 되었다.
황해도 사리원시에서 한의원을 개설하고 있다가 스승인 김태희가 은퇴하면서 그가 경영하던 송림시의 성제국한의원(聖濟局韓醫院)의 운영을 맡아 한국전쟁 때까지 15년간 이곳에서 환자를 진료하였다.
전쟁 중에는 남쪽으로 피난을 내려와 군산에 소규모 한방진료소를 차려 놓고 5년간 진료를 하기도 하였다. 1956년에는 서울로 상경하여 종로에 성제국한의원을 개설하여 진료를 다시 시작하였다.
1963년에는 대한한의사협회 회장으로 당선되어 의료법의 개정을 추진하여 6년제 한의과대학의 기틀을 마련하였으며, 동양의약대학의 관선이사장직을 맡으면서 후진양성에도 힘썼다.
1965년에는 동양의약대학이 경희대학교로 합병되자 경희대학교의 교수로 취임하여 후학들의 교육에 힘쓰기 시작하였다. 1977년에는 의과대학 한의학과가 한의과대학으로 개편되면서 초대 학장에 취임하였고 부속한방병원장까지 겸임하였다.
1973년에는 사재를 출연하여 동양의학연구소라는 재단법인을 설립하여 한의학 연구에 이바지하였으며, 『진료요감(診療要鑑)』이라는 저작을 간행하기도 하였다. 1975년에는 계간 학술지 『동양의학(東洋醫學)』의 발행인으로 참가하여 학술 발전에 기여하였다.
그 뒤에도 계속적인 후진양성과 진료활동으로 여생을 보내다가, 1988년 오랜 지병으로 타계하였다. 학문적으로는 『동의보감(東醫寶鑑)』에 정통하여 이름이 높았다.