조선 중기에 학문의 권장을 위하여 지방에 서원과 정사(精舍)가 생겨나고 자기 조상들을 위하여 사우(祠宇)가 많이 건립될 때 생겨난 특징 있는 주민들의 사당이다.
1584년(선조 17)보은군의 주민들이 그 고을 현감을 지내면서 선정을 베풀어 군민을 은휼한 성제원(成悌元)의 음덕을 기리기 위하여 보은에 향사를 세운 것이 우리나라 향사의 효시가 되었다.
그 뒤 1675∼1800년(숙종 1∼정조 24) 사이에 여러 곳에 향사가 생기기 시작하여 100여개소에 이르렀으며, 조정에서 인정하여 사액한 곳만도 25개소에 달하였다. 향사에 제향된 인물도 여러 계층으로, 학자·정치인·수령·군인·효자 등 광범위하였으며, 그 지방에 현저한 공적이 있는 사람은 모두 향사에 제향하였다.