이 단체는 경성에서 사업을 하던 김윤수(金潤秀)가 사업에 실패한 후 1925년 여름에 도일해 조선인 자유노동자 26명을 모아 8월 14일 도쿄[東京] 후츄쵸[府中町]에서 발회식을 가짐으로써 창립되었다.
창립 당시에는 관동노동일심회(關東勞動一心會)라는 이름을 가졌다. 창립 이후에 다마군[多摩郡] 8정(町)에 사무실을 두었다. 조선노동일심회는 창립 이후 조직화를 활발히 전개해 창립 4개월 만인 1925년 12월에는 800여 명의 회원을 갖게 되었다.
이 단체는 1926년 2월 25일 재일본조선노동총동맹에 가맹하였다. 그리고 곧 이어 3월 재일본조선노동총동맹 관동연합회(關東聯合會) 발회에 참가했으며, 회장 김윤수는 관동연합회의 중앙집행위원으로 추대되었다. 또한 김윤수는 또 다른 사상단체인 조선민중회의 대표위원이 되기도 했다.
이 단체는 재일본조선노동총동맹에 가맹한 다른 조선노동조합과 함께 반제민족운동을 전개했으나 1926년 8월 15일 씨름대회를 계기로 재일본조선노동총동맹에서 탈퇴했다.
탈퇴한 이유는 재일본조선노동총동맹이 순수한 노동운동을 통해 노동자의 옹호를 꾀하지 않고 사상문제에만 치중하며, 노동조합회원이 순수한 노동자가 아니라 노동자 이외의 인물이 많았으며, 청년운동과 학생운동을 구별하지 않았다는 등이다.
이 단체가 재일본조선노동총동맹에서 탈퇴할 당시에 회원수는 1820명이었다. 그런데 탈회 이후 조직화는 더욱 더 활발히 전개되어 1926년 10월에는 회원수가 2,300명으로, 1927년 11월에는 회원수가 총 5,662명으로 격증했다.
이와 같이 회원수가 증가하자 이 단체는 1926년부터 회무 정리를 위해 회원 200명씩을 1구획으로 하여 전체를 12구획으로 나누어 1구획마다 대의원을 선출해 매월 7일에 정례회를 열었다. 또한 회원 전부가 자유노동자였으므로 총회는 공휴일인 1월 1일에 개최했다.
1927년 현재 회장 김윤수 외에 주요 간부는 주사 겸 조직선전부장 이수철(李秀喆), 국제정치 겸 교육출판부장 노초(盧超), 조사구호 겸 쟁의부장 김청호(金淸鎬), 직업소개 겸 재정부장 전춘길(全春吉), 상무간사 박영석(朴永碩), 전부갑(全富甲) 등이다.
1927년 11월 현재 이 단체는 기타타마군[北多摩郡], 미나미타마군[南多摩郡], 니시타마군[西多摩郡], 하치오지시[八王子市] 등에 각각 지회를 두었다. 또한 오사카[大阪] 지부(300명), 치바[千葉] 지부(300명), 코후[甲府] 지부(200명), 니이카타분[新潟分] 지부(500명) 등 일본 전역에 지부를 두었다.
회원의 대다수는 경상도 출신이고 전라도와 충청도 출신이 그 뒤를 이었다. 회원들은 동경부흥사업에 필요한 자갈 채취, 운반 등의 일을 했는데, 임금은 1일 평균 1원 80전이었다.
이 단체는 재일본조선노동총동맹으로부터 탈퇴한 이후 더욱 더 순수한 노동자의 종합적인 단체로서 성격을 강화했다. 이 단체는 정례적인 총회를 비롯해 운동회, 씨름대회를 개최했고 다음과 같은 7가지 보호사업을 했다.
즉 ① 간이무료숙박소 운영, ② 도항 주선(보증, 취직알선), ③ 야학부 개설, ④ 무료진료 실시, ⑤ 노동쟁의나 노동자 동지의 분쟁 조정, ⑥ 관혼상제에 부조, ⑦ 조선악기를 구입해 위안을 위한 오락사업 실시 등 이다.
또한 1927년 12월부터는 기관지 『월간무장노동신문(月刊武藏勞動新聞)』(조선문과 일본문)을 발간했다.