본관은 광산(光山). 호는 동은(東隱). 충청남도 공주 출신. 김장생(金長生)의 13대손으로 아버지 김응수(金膺洙)와 어머니 조씨(趙氏)에서 6남매 중 2남으로 태어났다. 김성수(金性洙), 김연수(金秊洙)와는 처남매부간이다.
1913년 연산보통학교에 입학하여 수학중 1915년 한양으로 이사하여, 교동보통학교에 전학하였다. 그 뒤 김성수가 경영하는 중앙학교에 입학했으며 일본으로 건너가 중학교 4년에 편입, 수학 후 히로시마고등사범학교[廣島高等師範學校] 수리과에 입학하여 1929년에 졸업하였다.
1930년 귀국 후 중앙상공주식회사 이사로 실업계에 투신하여 상무·전무를 거쳐 1938년 경성방직공업주식회사 지배인을 시작으로 상무로 승진, 광복 후 1946년 사장, 그 뒤 회장·명예회장을 역임하였다.
1947년 조선방직협회 창립 초대 이사장 취임, 1948년 조선상공회의소 부회장 피선, 1949년 한국독립기념 친선사절단원으로 도미, 1960년 한국경제협의회 설립 준비위원회에 추대되었다.
1964년 한국경제인협회 제4대 회장 취임, 1969년 전국경제인연합회 회장, 한국과학기술진흥재단 이사장 등을 지냈다. 1972년 연세대학교 명예경제학박사 학위를 받았다.
1975년 경방주식회사 명예회장, 1977년 전국경제인연합회 회장, 한국열관리시험연구소 이사장, 국정자문위원회 위원을 역임하였다.
1980년 국토통일 고문, 대한적십자사 조직위원, 1981년 국정자문회의 위원, 경방육영회 이사장 등을 역임하면서 정부의 주요 정책에 참여하고 산학협동의 길을 개척했다.
1972년 한국경제인으로는 처음으로 천우사 사장 전택보(全澤珤)와 함께 소련을 방문했으며 8·3조치를 이끌어냈다. 1973년에는 인촌문화상과 수당과학상을 제정하여 매년 시상하고 있다.
경제발전에 기여한 공로가 높이 평가되어 1968년 대통령 표창, 1974년 금탑산업훈장, 국방부장관 표창, 경제인으로는 최초로 영예의 국민훈장 무궁화장을 받았다.
민간외교에 대한 공로로 1977년 자유중국정부 외교훈장 대수경성(大綬景星)과 1978년 프랑스 정부로부터 일등 국민훈장, 1988년 일본정부의 훈일등(薰一等) 서보장(瑞寶章) 등을 받았다.