1975년 제주특별자치도 유형문화재(현, 유형문화유산)로 지정되었다. 조선시대에 고을의 나이 많은 어른들이 봄과 가을 두 차례 모임을 갖고 활쏘기와 함께 주연을 베풀며 고을의 당면 과제를 의논하거나 민심의 동향을 살피던 곳이다.
향사당의 임원으로는 좌수 1인과 별감 3인이 있었으며, 이후 지방의 자치기관인 향청(鄕廳)의 기능을 갖게 되면서 고을 주민들의 여러 가지 일을 자치적으로 의논하여 처리하기도 하였다.
향사당은 처음에는 유향소(留鄕所)의 기능을 가지고 있었으나, 1475년(성종 6) 유향소가 다시 설립될 때 중국 주(周)나라의 제도를 따라 풍속을 교화하되, 특히 예악과 덕행을 세우는데 제일인 ‘향사음례(鄕射飮禮)를 행하는 유향소’라는 뜻으로 향사당(鄕射堂)이라 개칭하였다.
사(射)는 공자가 “확상(矍相: 땅 이름)의 들판에서 활을 쏘아 어진 이를 얻는다.”고 말한 데서 유래한 것으로, 옛날 어진 임금들이 몸소 인의를 실행하여 백성을 인도한 것을 모방한 것이다.
향사당은 당초 가락천 서쪽에 있었으나 1691년(숙종 17) 판관 김동(金凍)이 현 위치로 옮겨지었고, 1797(정조 21)에 방어사 유사모(柳師模)가 건물의 명칭을 향사당(鄕社堂)으로 고쳐 편액하였다. 지금의 건물은 1981년에 고쳐 지은 것인데, 건물이 길가에 위치한 관계로 원래 동남향이었던 좌향을 북동향으로 바꾸었다.
홑처마 팔작지붕을 하고 있다. 가구는 정면과 배면에 퇴칸을 둔 2고주 7량이며, 중앙의 대청에는 넓은 우물마루를 깔았다. 좌우측면에 높게 화방벽을 쌓았는데 모두 현무암으로만 쌓은 것, 평주 상부에 도리방향으로 첨차를 설치한 것이 독특하다.
1980년 건물을 해체할 때, 천장과 장여 사이에서 ‘숭정기원후4을미2월24일상량(崇禎紀元後四乙未二月二十四日上樑)’이란 묵서가 발견되었는데, 이것으로 미루어 보아 향사당은 1835년(헌종 1) 2월에 마지막으로 보수된 듯하다.