서울 출생. 김완진(金完鎭)의 둘째아들이다. 그의 가계는 15대를 서울에서 거주한 서울토박이였으나 시전(市廛)출신은 아니며 대대로 경리(京吏)라는 중인계급이었다. 집안이 어려워 신교육은 받지 못하고 한문을 공부하였다.
아버지가 황해도 거부 한모(韓某)진사와 친교를 맺고 지내던 중 한진사의 사건을 해결해주자 그 은공으로 자금을 주어 큰아들 김윤만(金潤晩)이 1897년 지금의 종로1가 파출소 옆에 백목전(白木廛)을 개점하면서부터 시전상인이 되었다. 개점 수년 후 윤만이 죽자 40여 세의 나이로 그가 백목전을 인수하였다. 백목전 인수 후에 발휘한 상재(商才)는 놀라웠으며, 상인으로서의 확고한 신념을 가지고 평생 그 신조를 고수하였다.
그 신조는 첫째 친절, 둘째 정가제(定價制)의 실시, 셋째 신용이라고 하였다. 1919년 종로 및 남대문의 상인들과 합자하여 동양물산주식회사를 설립하고 사장에 취임하였는데, 이 회사는 자본금 200만 원, 1차 불입금 50만 원으로 창설된 비교적 큰 무역회사였으며, 내외산물의 수출입 및 판매를 목적으로 하였다.
동양물산의 설립이야말로 그가 시전상인으로서의 구각을 탈피하고 근대 기업가로 진출할 수 있는 절호의 기회였으며, 동시에 시험대가 되기도 하였으나 이 기회를 선용하지 못했다.
동양물산이 실패한 이유는 시세(時勢)의 변조, 대주주들의 주식출자금 미불입 등의 원인도 있었으나, 가장 중요한 원인은 그의 혁신적이고 창조적인 기업가정신의 결여라고 보고 있다. 그는 1920년 자본금 20만 원의 거상이었으며 개인기업으로는 제3위 고액납세자였다. 1920년대 이후 가업(家業)은 맏아들인 김명근(金命根)이 계승하였다.