독일에는 한인 유학생들이 제법 많았지만, 단체가 결성되지는 못하였다. 1962년에 이르러 3백~4백명 정도로 추산되는 한인 유학생들이 처음으로 모임을 가졌다. 그 뒤 1963년 10월 27일에 50여 명의 유학생들이 한국의 4·19혁명을 계기로 ‘물러나서 도를 닦는다’는 의미로 퇴수회를 결성하였다. 초대 회장은 박종서가 맡았고, 이영빈·안병무·윤이상 등이 모임을 주도적으로 이끌었다. 1964년 4월 26일에는 정기총회를 열어 ‘재독한인회’로 이름을 바꾸면서 사단법인 등록을 결정하였고, 음악가 윤이상(尹伊桑, 1917∼1995)을 제2대 회장으로 선출하였다.
이 모임에서는 처음에한인 유학생들이 발기인 등으로 활동하였지만, 1973년에 열린 제11차 정기총회에서 회원의 범위가 교민으로 확대되었다. 1970년대 중반 이후에는 독일에 파견된 광부나 간호원 출신의 교민이 모임을 이끌었다.