평안남도 강서 출생. 아버지는 상해임시정부 의정원의장을 지낸 정도(正道)이며 어머니는 박신일(朴信一)로, 2남 3녀 가운데 맏아들로 태어났다.
1915년 중국 광성소학교와 1919년 길림 문관중학교를 거쳐 1924년에 중국 남경 중앙대학 농학원 항해과를 졸업하였다. 졸업 후 중국해운공사에서 근무하던 중 1927년 중국해군의 국비유학생으로 선발되어 3년간 독일에서 수학하였다. 1930년에 아버지의 사망으로 일시 귀국하였다가 독립운동가의 후손으로서 상해독립단체의 비밀연락원의 임무를 띠고 입국하였다는 혐의로 일본경찰에 붙잡혀 강서에서 옥고를 치르다가 1931년에 출감하였다.
출감 후 다시 중국으로 건너가 해운사업에 종사하다가 1945년에 조국의 광복과 더불어 귀국하였다. 귀국 후 조국의 바다를 지키기 위한 해군을 건설할 뜻을 품고 동지를 규합하기 시작하였다. 그리하여 1945년 8월 21일 동지들과 해사대의 조직을 결의하고 8월 23일 해사대 임시사무소를 설치하였다. 그 뒤 미군정이 실시되자 그는 미군정 당국과의 협의 끝에 1945년 11월에 해안경비를 담당할 해방병단을 창설하고 초대 단장에 취임하였으며, 이것이 한국 해군의 전신이며 모체가 되었다.
1946년 2월 장교에 대한 계급이 부여됨에 따라 참령(參領)으로 임명되었으며, 그 해 6월에는 해방병단이 해안경비대로 개칭되어 해안경비대 총사령관 겸 병학교장(兵學校長)이 되었다. 1948년 8월 정부가 수립되어 해안경비대가 해군으로 편입됨에 따라 초대 해군참모총장에 임명되었다. 해군참모총장 재직 중에는 뛰어난 외교력을 발휘해 해군전력 증강에 기여하였으며, 특히 6 · 25전쟁 중에는 유엔군의 인천상륙작전을 수행함으로써 전세를 역전시키는 데 공헌하였다.
1953년 6월 해군중장으로 예편한 뒤 그 해 8월 제5대 국방부장관으로 취임하였다. 국방부장관으로 재직하는 동안 능숙한 외교수완을 발휘하여 막대한 군원을 획득함으로써 국방력 증강에 크게 기여하였을 뿐 아니라, 행정면에 있어서도 국군묘지 창설, 군목제도의 활성화, 전시연합대학과 국방대학원 창설, 국내외 위탁교육제도의 신설 등 인재양성에도 공헌하였다.
1956년에는 서독대사로 임명되어 3년간 외교 일선에서 국위선양에도 크게 기여하였으며, 특히 유럽과 아프리카 지역의 각종 국제회의에 대표로 참석하는 등 1인 10역의 눈부신 외교활동을 전개하였다. 그 뒤 재향군인회 고문(1967), 성우구락부 · 서해구락부 · 국토통일원 고문(1971), 홍보협회장(1972), 한국반공연맹 이사장 겸 세계반공연맹 아시아반공연맹 이사장(1972∼1974), 반공연맹 고문(1974), 국제문화협회 상임고문, 대한석탄공사 이사장(1976) 등을 지냈다. 1980년 국립묘지에 안장되었다.