세례명은 김바오로. 서울 출생.
1950년 경기공립중학교를 졸업하고 서울대학교 건축공학과에 진학하였으나 6·25전쟁을 맞아 2년 만에 그만두고 일본으로 건너가 동경예술대학 미술학부 건축과에 입학, 신건축을 배우기 시작하였다.
재학중에는 ‘마쓰다 · 히라다[松田平田]건축설계사무소’에 나가 건축실무를 배우기도 하였다. 1958년 대학을 졸업한 뒤에 동경대학대학원 도시공학과의 다카야마연구실[高山英華硏究室]에서 공부하여 1960년 석사학위를 취득하고 이어 박사과정도 수료하였다.
1959년 동경예술대학 건축과를 졸업한 직후 남산 「국회의사당」 현상모집에 응모하여 17점 가운데 일등으로 당선, 한국건축계에 화려하게 등장하였다. 박춘명(朴春鳴) · 강병기(康炳基) · 정형(鄭炯) · 정종태(鄭鍾泰)와 합작하였다. 1961년 김수근건축연구소를 개소하는 한편, 홍익대학 건축미술과에 전임강사로 취임하였다.
5·16 후에 「워커힐 힐탑바」에서 대담하고 상징적인 구조를 표현하여 개성 있는 작가로 두각을 나타내기 시작하였다. 이 시기의 국내건축계는 아직 여명기의 상황에서 벗어나지 못하고 있을 때였다.
이어 1960년대를 장식하는 「자유센터」 · 「오양빌딩」(1964), 「정동문화방송사옥」(1965), 「타워호텔」(1967), 「한국일보사옥」 · 「홍릉과학기술연구소」(1969)를 잇달아 설계, 그의 성가를 높였다. 또한, 「국립부여박물관」(1967)에서는 전통과 문화적 정체성에 대한 문제를 불러일으켜 건축이 사회문제의 한 장르가 되는 부수적 효과를 얻어내기도 하였다.
그의 건축활동은 1966년 월간잡지 『공간』을 창간하면서 예술 전반으로 확대되었고, 불모지였던 건축언론 창달에도 크게 이바지하였다. 이 시기에 대표적 작품의 하나인 「공간사옥」(1977)과 「마산성당」(1979) 등을 비롯한 일련의 작품들을 설계하여 세계적인 건축가로서 부각되었고, 해외 언론매체의 관심의 대상이 되었다.
그 뒤 그의 영역은 해외로 확대되어 일본 · 미국 · 이란 · 수단 · 인도 · 카타르 · 말레이시아에까지 작품을 세울 수 있었다. 또한, 이즈음 서울아시아경기대회와 서울올림픽대회 시설의 중요 시설들도 설계하였다.