본관은 연안(延安). 호는 여천(如泉). 평양 출생. 아버지 김영필(金永弼)과 어머니 이영자(李英子)의 5남 2녀 중 둘째 아들이다. 군수인 아버지를 따라 강동·중화·성천에서 유년시절을 보냈다. 1939년 3월평양중학교를 졸업한 뒤, 요코하마(橫濱)고등공업학교 건축학과에 진학하였다. 이곳에서 파리미술대학 출신인 나카무라(中村順平) 교수로부터 건축교육을 받고 고전에 대한 눈을 떴다.
1941년 12월 졸업한 뒤 마쓰다(松田)·히라다(平田)건축사무소에서 3년간 건축실무를 익혔다. 1944년서울에 있는 조선주택영단 기수로서 일하였으며, 광복 전 1945년안양에 있는 조선비행기제작주식회사에 근무하였다. 1947년 3월서울대학교 공과대학 건축공학과 조교수가 되어 건축을 가르치며 시를 썼다. 1·4후퇴 때 부산으로 내려와 서울대학교 공과대학·사범대학을 비롯하여, 한양공과대학·이화여자대학교·숙명여자대학과 부산공업학교 등에서 강의를 하였다.
1952년 9월이탈리아 베네치아에서 열린 UNESCO 주최 제1회 세계예술가회의에 한국건축가 대표로 참석하였으며, 파리에 있는 르 코르뷔지에(Le Corbusier) 건축사무소에서 1952년 10월부터 3년 6개월간 건축 및 도시계획을 수업하고 자아발견의 가르침을 받았다.
1956년 3월 귀국하여 김중업건축연구소를 열고 본격적인 건축창작 활동을 하며, 한국의 고전을 현대감각으로 표현하는 작업에 몰두하면서 홍익대학에서 건축학을 가르쳤다. 1957년 4월중앙 공보관에서 제1회 김중업건축작품전람회를 개최하였고, 1971년 10월신세계백화점 화랑에서 제2회 작품전을 열고 그 동안의 작품과 프랑스 정부가 만든 영화 「건축가 김중업」을 선보였다.
서울이 당면한 도시계획·건축 등의 문제에 대한 정부시책을 과감하게 비판하였다가 1971년 11월 출국하여 프랑스에 거주하게 되었고, 1972년 3월르 코르뷔지에 재단이사로 선임되었다. 그 뒤 미국으로 이주하여 프로비던스대학에서 교편을 잡다가 1979년 귀국하여 별세할 때까지 많은 작품을 남겼다.
그는 한국문화 속의 샤머니즘적인 체험과 내면에 분출된 원초적인 힘 등 보이지 않는 무한한 생명력을 느끼게 하는 주제를 가지고, 시정(詩情)이 흐르는 생략적이고 암시적인 방법으로 건축에 대한 정취를 표현하였다.
초기 대표작품으로는 「명보극장」(1956), 「서강대학교 본관」(1958), 서울 장위동「‘人’자의 집」(1958), 「드라마센터」(1959) 등이 있다. 1960년 그의 대표작으로 평가되는 「주한프랑스대사관」을 선보였는데, 콘크리트로 지붕 처마선을 직선과 곡선으로 처리한 형태와 단아한 전체구성 및 공간처리는 한국의 얼과 프랑스다운 우아함이 잘 어우러진 건물로서 한국 현대건축에 큰 영향을 주었다. 그 뒤의 주요작품으로는 「설씨 청평산장」(1962), 「제주대학 본관」(1964), 「서산부인과의원」(1965), 「부산 UN묘지 정문」(1966), 「3·1빌딩」(1969) 등이 있다.
1970년대 외국에 체류하며 설계한 작품으로는 「성공회회관」(1974), 「한국외환은행본점 설계경기안」(1974) 등이 있으며, 1979년 귀국 후에는 「바다호텔」(1980)·「하늘교회」(민족대성전, 1980) 등의 계획안을 발표하였고, 「KBS국제방송센터」(1988), 「올림픽공원 상징조형물」(1988) 등을 설계하였다.
1962년 서울특별시 문화상, 1965년주한프랑스대사관 설계로 프랑스정부로부터 국가공로훈장과 슈발리에(Chevalier) 칭호, 1985년 산업포장(건설유공 부문) 등을 받았다.