1909년 8월 21일 칙령 제75호로 반포된 <관제 官制>에 의하여 설립되었는데, 내부대신의 관리하에 있었으며, 주로 빈곤한 사람들의 질병을 치료하는 데 목적을 두었다.
처음에는 우리 나라에 주둔한 일본군 군의부장 후지다(藤田嗣章)의 진언과 알선으로 일본군의 의약품 · 의료기계 등 약 5만원어치를 무료로 기증함에 따라 함경남도 함흥군, 충청북도 청주군, 전라북도 전주군 등 3곳에 설치, 운영되었다.
원장과 의관은 현역 일본군 군의가 맡았는데 아직까지 양의의 혜택을 입지 못한 사람들이 몰려와 예상 이상으로 번창하였다. 그 다음해인 1910년 7월 22일에 관제를 개정하여 13도의 총 14곳에 자혜의원을 설치하였다.
평양 · 대구의 두 동인의원(同仁醫院)은 자혜병원으로 계승되었으며, 신설된 곳은 광주 · 수원 · 진주 · 공주 · 춘천 · 의주 · 해주 · 경성(鏡城) · 회령 등지였다.