1918년 부산에서 출생하였고, 본관 언양(彦陽), 호는 해오(海吾)이다. 1940년 경성상업고등학교, 1943년 일본 규슈대학〔九州大學〕 법문학부 등을 졸업하였다. 대학 재학 중 고등문관시험 행정과에 합격, 일본 후생성(厚生省)과 내무성(內務省)에서 근무하였다.
1945년 해방 후 경남도청 이재과장, 체신부장 비서실장, 감찰국장 등을 거쳤다. 1951년 외무부 정무국장에 선임된 후 중국대사관, 외무부차관, 초대 주일대사, 주미대사 등을 역임하였다. 1973년에 외무부장관, 1979년 한국석유개발 공사 사장, 1981년 변호사, 해오실업 고문 등으로 활동하였다.
1960년 2월 한국정부는 동남아 각국과의 우호 증진을 위한 정책의 일환으로 중화민국, 말레이시아, 필리핀, 태국, 남베트남 등 5개국에 김동조를 단장으로 하는 친선사절단을 파견하기로 결정했다. 1960년 2월 23일 친선사절단은 말레이시아와의 외교 관계 수립을 발표하였다.
1965년 12월 18일 상오 10시 반 중앙청에서 열린 한일 양국의 국교정상화를 최종적으로 매듭짓는 기본 조약 및 협정에 의한 비준서 교환에 수석대표로 참석, 한일수교를 주도하였다. 1965년 12월 말, 한국정부는 주일대사로 김동조를 내정하자 12월 23일 민중당의 김대중 의원은 국회 본회의에서 “국회 외무위가 만장일치로 그 해임을 건의했으며, 재일교포단체에서도 소환을 건의한 바 있는 김동조 대사를 재임명할 수 있는가”를 추궁했다. 이러한 비판에도 불구하고 김동조는 주 일본대사에 선임되었다.