1896년 부산에서 출생하여 보성전문학교 법과를 졸업하였다. 1919년 3·1운동 당시 시위에 참여하였고, 이어 중국에 망명하여 상해임시정부의 조직에 가담하였다.
1920년 프랑스에 가서 재프랑스한국인거류민회장이 되었고, 다시 미국으로 이주하여 뉴욕한국학생회장으로 일하였다. 뉴욕에서 공부하면서 이승만의 독립운동을 직접 도왔다. 1922년 북미한인교민총단장이 되었으며, 1923년 미국 교민의 독립정신을 고취하기 위해서 창간된 『삼일신보』의 사장이 되었다.
해방 후 1945년 미군정에 의해 서울시 고문관으로 활동했으며, 그해 12월 임정 한민당 등의 ‘국민대회준비회’의 중앙위원으로 활동하였다. 1946년 2월 대한민국민주의원비서국에서 임영신, 장준하 등과 비서국원으로 있었으며, 1947년 9월 미국의 한국문제 UN상정을 지지하기 위한 한국민주당의 신임상임위원 인선에서 장덕수, 김준연, 백관수, 함상훈, 서상일등과 신임상임위원으로 선출되었다. 1948년 제헌의원선거 때 부산을구에서 한민당 후보로 당선되었다.
대한민국정부가 수립되자 교통부장관이 되었으며, 이어 1950∼1952년에는 사회부장관으로 재임했고, 1951∼1952년에는 국무총리서리, 1957∼1959년에는 서울특별시장을 지냈으며, 1959년 한일회담 수석대표로 발탁되었다.
1960년에는 4·19혁명으로 이승만 대통령이 하야한 뒤 외무부장관을 겸직하면서, 과도정부의 수반[대통령권한대행]이 되었다.
하야한 이승만을 하와이로 망명하게 하였으며, 선거를 치루어 새로 발족한 내각에 권한을 인계하였다. 1963년 ‘국민의 당’을 창당하여 대표최고위원이 되어 대통령후보로 내정되었으나 윤보선(尹潽善)과 야당후보단일화를 이루어 자리를 양보하였다.
1963년 제5대 대통령선거에서 윤보선이 패배한 뒤 정치일선에서 물러났으나 1965년 6월 민중당이 창당되어 대표최고위원에 박순천, 고문에 윤보선이 선출되었고, 김도연을 대신해 허정이 서민호와 함께 최고위원이 되었다. 1969년부터 1984년까지 통일원고문, 1980년까지 국정자문위원으로 일하였다.
자서전으로 『내일을 위한 증언』이 있다.