제1차 세계대전이 끝난 뒤, 1919년 3월 1일 전국에서 거국·거족적인 3·1운동이 일어나고, 국내외에서는 이에 호응하려는 분위기가 성숙되어갔다.
더욱이 당시 국제도시인 상해는 외국의 조계(租界)지역 안에서는 자유롭게 망명 정부를 수립·운영할 수 있어, 각국의 독립운동가들의 자유로운 활동이 가능한 곳이었다. 그러므로 해외에서 가장 먼저 독립운동이 일어날 수 있는 환경을 갖추고 있었다.
1918년 8월경 국내외 각지에서 집결한 여운형(呂運亨)·장덕수(張德秀)·김철(金澈)·조동호(趙東祜)·한진교(韓鎭敎) 등 70여 명이, 1919년 초 신한청년당(新韓靑年黨)을 결성하였다.
그런데 당시는 제1차 세계대전이 끝날 무렵이었으며, 미국 대통령 윌슨(Wilson, T.W.)이 민족자결주의 원칙을 천명하고, 중국 대표를 파리강화회의에 초청하기 위해 크레인(Crane, C.R.)을 특사로 상해에 파견한 때였다.
이에 고무된 신한청년당원들은 특사 환영대회에 여운형을 대표로 파견하여 교섭하게 하였다. 그런데 여운형이 크레인을 만났으나 큰 성과를 거두지 못하고 단지 파리강화회의에 보낼 문서와 미국대표에게 접수시킬 한국독립에 관한 요망서(1918.11.28) 등을 크레인에게 주어 접수되도록 당부하였을 뿐이었다.
당에서는 공식으로 회의에 파견할 한국대표로 김규식(金奎植)을 선임하였다. 그리고 선우혁(鮮于爀)·김철·서병호(徐丙浩)·김순애(金淳愛) 등을 국내에 파견하여 군자금을 모금하도록 하였다. 또한 상해 동지들의 독립 열망에 따른 국제 정세를 전달하도록 하였다.
한편 일본에 조소앙(趙素昻)과 장덕수를 파견하여 독립운동의 열기를 가열시켰다. 연해주(沿海州)와 동삼성(東三省)일대에는 여운형이 파견되어 그곳에 망명중인 이시영(李始榮)·이동녕(李東寧)·박은식(朴殷植)·이동휘(李東輝) 등과 면담하고 상해로 집결할 것을 권유하였다.
그런데 연해주에서는 이미 신규식(申圭植)이 동제사(同濟社)를 조직하고 박달학원(博達學院)을 설치·운영하는 등 자못 활발하게 움직이고 있었다. 이때 국내에서 3·1운동이 일어나자 이광수(李光洙)·현순(玄楯)·최창식(崔昌植)과 미주에서 여운홍(呂運弘)이 상해에 도착하였다.
그래서 이곳에 수백 명을 헤아리는 독립지사와 가족이 집결함으로써 독립운동을 보다 효과적이고 체계적으로 추진할 수 있는 임시기구가 필요하게 되었다.
마침내 이동녕의 제의로 사무실 설치가 논의, 결정되면서 프랑스조계 보창로(寶昌路) 329호의 낡은 프랑스식 단층양옥 6평 남짓한 작은 방을 전세 얻어, 그 해 3월 하순경 개소하였다. 사무소의 책임자는 이동녕이 자담했고 총무는 현순이 맡았다.
재상해 동지들과 각국에 3·1운동의 거국적 항쟁의 사실을 선전하였다. 이때 국내 한성(漢城)의 독립단 본부에서는 이봉수(李鳳洙)를 상해 독립임시사무소에 파견하여 이동녕과 임시정부 조직을 협의하도록 하였다.
그 뒤 국내에서 강대현(姜大鉉)이 이동휘를 집정관(執政官)으로 선임한 각료 명단과 헌법을 가지고 왔다. 이에 이동녕은 이시영·남형우(南亨祐)·신익희(申翼熙)·조소앙 등과 상의해서 비로소 임시헌장 10개조를 초안하게 되었다.
임시헌장이 초안된 뒤 개정·증보를 거듭하여, 마침내 같은 해 4월 10일과 11일 이틀에 걸쳐 김신부로(金神父路)의 회의실에서 29명의 인사가 모여 대한민국 임시정부 수립을 위한 임시의정원과 정부를 구성하였다. 그러므로 사무소는 곧 임시정부를 구성·수립한 산실(産室)이 된 것이다.