1920년 상해 한인 교민들의 생활을 보호하고 대한민국 임시정부의 기반 조직으로서의 기능을 수행하기 위해 설립되었다.
1918년 설립된 상해 지역 한인 교민 단체인 상해고려교민친목회(上海高麗僑民親睦會)는 1919년 4월 임시정부의 산하 조직으로 편제되었다. 같은 해 9월 친목회는 상해대한인민단(上海大韓人民團)이라 개칭하고, 여운형(呂運亨)을 단장으로 선출했다. 교민단은 1920년 1월 9일에 다시 상해거류민단(上海居留民團)이라 개칭하고, 임원을 개선하였다. 그해 3월 16일에는 임시정부가 ‘거류민단제’를 국무원령으로 공포함에 따라 임시정부에 의해 상해대한인거류민단(上海大韓人居留民團)으로 정식 추인되기에 이르렀다. 임시정부는 법령을 공포하여 이를 정부 차원에서 합법화하였다. 이어서 그해 10월 7일에는 임시정부가 외지 거류민의 자치를 제도화하기 위해 내무부령으로 교민단제를 발표함에 따라 상해대한교민단(上海大韓僑民團)으로 개편되었다.
교민단은 1920년대 후반에 들어 임시정부와 마찬가지로 약화되었다. 1929년 8월 29일 임시정부의 김구(金九)가 교민단장이 되면서 업무가 개선되었다. 교민에 대한 호구조사, 자산조사 등을 실시하였으며 아울러 공산주의 세력을 배척하고, 자파의 세력 신장에 주력했다. 특히 교민단은 프랑스 조계 공동국에 청원하여 매년 보조금을 받게 되었다. 교민단이 독립운동 기관으로서의 성격이 강해지게 되자 다소의 반발이 일어나기도 했다. 교민단은 1932년 4월 윤봉길의거 이후 임시정부 요인들이 상해를 탈출하면서 약화되다가 1934년 해체되었다.
교민단의 기본 업무는 거류민의 생활을 보호하고 임시정부의 기반 조직으로서의 기능을 수행하는 것이었다. 거류민의 교육, 위생, 소방, 교통, 병원(兵員) 모집, 빈민 구제, 민적 사무, 교민 보호와 치안 확보, 밀정 제거 등의 업무들이었다. 특히 주된 것은 교육, 위생, 직업 소개, 민적(民籍) 증명 등이었고, 또한 중국인이나 기타 외국인과의 사이에서 발생하는 시비와 분규를 해결하는 일이었다. 교민단은 이러한 업무를 추진하기 위해 임시정부와의 협조 아래 거류민의 호구와 자산 조사 활동을 벌였다.
그 외에도 교민단은 많은 행사를 치렀다. 교민단이 주최한 행사에는 각종 기념식과 환영회, 강연회, 강습회, 추도회 등이 있었는데, 물론 그 가운데에는 임시정부의 직할 조직이었기 때문에 맡은 행사도 많았다. 기념식에는 신년 축하식, 3·1독립선언식, 어천절(御天節) 기념식, 건국 기념식 등이 있었다. 이 가운데 어천절은 단군의 승천(昇天) 기념일로서 음력 3월 15일에 행해졌다. 이 행사는 대종교(大倧敎)의 행사이기도 했으나, 교민단이 독립운동의 차원에서 주최하였다. 그리고 음력 10월 3일에는 개천절 행사의 일환으로서 건국 기념식을 개최하였다.
교민단은 다양한 강연회와 강습회를 개최했다. 그 가운데 임시정부 시책에 대한 강연회가 시국 강연회의 형식으로 여러 차례 열렸다. 시국 강연회는 임시정부의 국무위원들이 교민들에게 국정을 보고하는 자리이자 그들의 지지를 구하는 기회였다. 또 교민단은 임시정부의 요인들이 상해에 도착할 경우 열렬한 환영회를 개최했다.
이와 함께 교민단은 교민을 위한 계몽적인 강연회도 많이 개최하였다. 한국어 장려에 대한 연설회와 강습회, 위생에 대한 강연회 등이 대표적인 사례이다. 이외에도 교민단은 국내외에서 순국한 독립운동 지사들의 추도회도 개최했으며 정세의 변화에 따라 그에 대응하는 많은 선언을 발표하고 이를 국내외 동포 사회에 알리는 활동을 하기도 했다.
또한 교민단은 상해 동포 사회의 치안 유지 활동도 전개하였다. 교민 사회의 안녕과 질서를 확보해야 하는 교민단으로서는 외부 세력의 침투를 방지하는 활동을 수행하였다. 그 결과 1923년 말 교민단 산하에 일종의 경찰 조직인 의경대(義警隊)를 조직하여 운영하였다.
상해대한교민단은 1920년부터 1934년까지 상해 한인 교민들의 안전 및 생명 보호 활동, 독립운동을 전개한 교민 단체였다.