아관파천 이후 반일 감정이 고조되는 상황에서 1896년 5월 17일 일본 내지 행상들이 상권을 회복·진흥시킬 목적으로 무장 대상 형태로 계림장업단을 조직하였다. 계림장업단은 일본 정부와 조선주재 일본공사관·영사관의 지원을 받으면서 상품매매의 무료 알선과 여권 발부 등 상업 활동을 펼쳤으며 조선 침략에 필요한 정보를 수집하였다. 그러나 무기를 휴대하면서 폭력적·약탈적인 상행위를 자행했기 때문에, 조선인뿐 아니라 외국인의 반발을 샀다. 일본 정부도 이를 우려해 보조금 지급을 중단함으로써 1898년 3월 계림장업단은 해체되고 말았다.
계림장업단은 통상무역 확대를 조선의 개발과 독립에 결부시키면서 일본 상권을 회복·확장하는 것을 목적으로 삼았다. 아울러 명목상으로 조선 문화를 지도한다는 점도 내세웠다. 계림장업단을 지원했던 일본영사조차 그 명칭이 실업단체에 걸맞지 않고 정치단체라는 오해를 불러일으키기 쉬우며 일본 상인 중에도 그 뜻을 이해하지 못하는 자들이 적지 않다고 지적하면서 조선내지행상협회 혹은 일조(日朝)통상협회처럼 알기 쉬운 명칭을 사용하자는 의견을 개진하였다.
계림장업단은 본부를 비롯해 지부(支部)·대구(大區)·소구(小區)로 조직되었다. 창립 후 평양에 제1대구와 개성에 제2대구를 설치한 데 이어 한성에 지부, 강경에 제3대구, 부산과 원산에 지부, 그리고 1897년 대구에 지부, 목포에 제4대구, 진남포에 소구를 각각 둠으로써 인천의 본부 아래 4개의 지부와 4개의 대구를 두는 전국적인 조직을 갖추었다.
계림장업단은 단원들에게 상품 매매를 무료로 알선해 주고 상품을 매입·대여해 주었으며, 내지 행상에 필요한 여권을 발부하였다. 또 통신계를 두어 우편물 발송의 편리를 도모하고, 환 징수와 송금 및 소하물 수송 등의 사무를 취급했으며, 각 지역의 상황(商況)·작물 풍흉의 경제적 사항과 조선인의 동향 등을 탐문·수집해서 일본 영사관에 보고하였다. 계림장업단은 신변 안전을 도모하고 상권을 회복·확대시키기 위해 단독 행상을 자제하고 무력적인 대상 조직 형태로 활동하면서 불법과 비리를 일삼고 폐해를 조장하였다.
계림장업단은 일본 정부의 지원 아래 일본인 내지 행상을 장려·보호하고 각종 정보를 입수하면서 일본의 경제적·군사적 침략의 첨병 역할을 담당하였다. 그러나 폭력적·약탈적인 행동으로 조선 관민의 반발을 불러일으키고 외국인과 일본 외교관의 빈축을 삼으로써 장사(壯士)양성소 내지 식객인수소(食客引受所)로 전락할 정도로 입지가 축소되었다가 해체되었다.