1919년 11월 5일 공포된 대한민국임시정부 관제에 의하여 처음으로 조직되었다. 그 조직구성은 일반적인 행정사무를 맡아보는 비서국(秘書局)과 외교사무를 담임하는 외사국(外事局), 통상관계를 담임하는 통상국(通商局) 등의 3국으로 이루어져 있었다.
그 가운데 통상국은 유명무실한 기관이었으며, 외사국이 핵심기관이었다. 그러나 이승만(李承晩)대통령이 미국에 주재하면서 구미위원부(歐美委員部)를 중심으로 외교활동을 전개하고 있는 관계로, 상해의 외무부는 기본적인 활동여건이 마련되어 있지 않아 형식적인 활동에만 머무르고 있었다.
그리하여 이승만의 지시로 외무부는 구미지역에 대한 외무는 관장하지 않은 채 대소외교(對蘇外交)에만 치중하게 되었다. 이와 같이 그 활동범위가 한정되어 있었지만, 외무부는 1945년 광복 때까지 여러 차례에 걸친 관제개편에도 불구하고 정부관제상 존치되어 있었다.