당시 임시정부 자체가 분열된 상태에서 국민대표대회 소집을 주장하는 북경측이 1921년 5월 12일 ‘통일책진발기취지서(統一策進發起趣旨書)’를 발표하였다. 반임시정부적인 성격을 띤 이 선언서가 나오자, 상해에서도 임시정부를 개조하고 국민대표대회를 개최하는 것만이 난국을 수습하는 길이라고 주장하였다.
그리하여 안창호(安昌浩)는 1921년 5월 12일 프랑스 조계 샤페이(霞飛路) 회현당(會賢堂)에서 대강연회를 개최, 임시정부의 개조와 통일된 독립운동의 방략을 제시하였다. 이어 5월 19일 한구로(漢口路)예배당에서 2차강연회를 갖고, 위에 제시한 문제를 실천에 옮기기 위해 이 기성회를 조직하였다.
조직위원으로 여운형(呂運亨)·이탁(李鐸)·안창호·서병호(徐丙浩)·김병조(金秉祚)·남형우(南亨祐)·송병조(宋秉祚)·최동오(崔東旿)·윤현진(尹顯振)·이영렬(李英烈)·김철(金澈)·양헌(梁瀗)·원세훈(元世勳)·나용균(羅容均)·이규홍(李圭洪)·한진교(韓鎭敎)·이원익(李元益) 등 20인을 뽑았다.
6월 6일에는 안창호를 회장으로 해서 제1회기성회총회를 열어, 국민대표대회기성회간장(國民代表大會期成會簡章)을 제정, 공포하고, 박은식(朴殷植)·이동휘(李東輝)·최일(崔日)·여운홍(呂運弘)·양기하(梁基瑕)·장덕로(張德櫓)·백남준(白南俊)·주현칙(朱賢則)·옥성빈(玉成彬)·정인교(鄭仁敎) 등 10인을 보충하였다.
그 뒤 이동휘·주현칙·백남준이 사임하여 차이석(車利錫)·김승학(金承學)·이유필(李裕弼)로 보결하였다. 그리하여 상해를 중심으로 국민대표대회 소집에 급진전을 보이자, 만주·노령(露領)·미주(美洲) 등 각 지역에서 각지의 국민대표대회기성회가 조직되었다. 이 기성회는 국민대표대회가 통일적으로 소집되는 날까지 존속함을 원칙으로 하였다.