처음에는 장흥의 동문 안쪽에 있었으나, 뒤에 현재의 자리로 신축, 이전하였다.
1894년 동학군이 장흥성에 쳐들어오자, 동학군을 증오해서가 아니라 장흥성을 지켜야 한다는 명분과 관의 명에 의해서 장흥부사 박헌양(朴憲陽)을 비롯한 여러 장졸들이 죽음을 각오하고 싸우다 결국 희생당하였다.
1898년에 희생된 박헌양과 장졸 95인을 추모하기 위하여 영회당에 단을 설치하고 위패를 모셨으며, 음력 3월 15일에 자손들이 제사를 지내고 있다. 목조비각 안에는 공적비가 있다.