조선시대 자인현의 정청이다. 1637년(인조 15) 자인현감 임선백(任善伯)에 의해 지금의 자인면 신관동에 세워졌는데, 일명 무금헌(撫琴軒)이라고도 한다.
그 뒤 고을터가 옮겨짐에 따라 원당리·북사리로 이건되었고, 지금의 건물은 1870년(고종 7)에 세워진 것이다. 한때 자인초등학교 교실로 사용된 적도 있었지만 1936년에 서림 서편으로 이건하였고 1980년에는 서림숲 한장군의 사당 옆으로 이건하였다.
정면에 붙은 ‘使衆堂’이라는 목각현판은 1763년(영조 39)에 자인현감으로 부임한 정충언(鄭忠彦)이 쓴 것이다.