본관은 청풍(淸風). 호는 소파(小坡). 황해도 재령출신. 한학자 김행식(金行植)의 둘째아들로 태어났다. 개성출신인 부인 박흥득(朴興得)과의 사이에 장남 여수(麗壽) 등 2남2녀를 두었다.
13세까지 아버지 밑에서 한학을 배웠으며, 해주고등보통학교(海州高等普通學校)·경성고등상업학교(京城高等商業學校) 및 구주제국대학(九州帝國大學) 법문학부를 졸업하였다.
일제강점기에 한국은행의 전신인 조선은행에 입행하여 그 이사를 역임하였다. 1950년 이후 한국은행 총재로 5년 동안 재직하면서 우리나라가 국제통화기금(IMF)과 국제부흥개발은행(IBRD)에 가입하는 데 크게 이바지하였고 통화개혁에도 깊이 관여하였다.
특히 한국은행의 정치적 중립성을 주장하면서 금융의 자율성과 독립성을 지키려고 노력하였다. 한편, 외교관으로도 활약하였는데, 1957년에는 주일대사(駐日大使)로 있으면서 한일예비회담을 성사시켰으나 제4차 본회담은 사실상 결렬되었다.
그 뒤 주영대사(駐英大使)를 지내다가 4·19로 자유당정권이 붕괴되자, 귀국하여 인천에서 무소속으로 국회의원에 입후보하였으나 낙선하였다. 1961년의 5·16 이후에는 관계와 정계에서 주로 활동하였다.
5·16 직후에 재무부장관으로 입각하였다가 경제기획원 설립에 참여하여, 초대경제기획원장관을 지내면서 경제개발계획 입안에 큰 구실을 하였다. 1963년 제6대국회에 전국구로 진출한 뒤 다시 제3대부총리 겸 경제기획원장관을 역임하였다.
제7대국회에서는 충청북도의 제천·단양 지역구에 민주공화당 공천으로 입후보하여 당선되었다. 정계에서 은퇴한 뒤에는 한국자동차보험주식회사의 사장을 지냈다.