한온(韓蘊)·정분(鄭苯)·정광로(鄭光露)·정명세(鄭名世)·정명원(鄭名遠)·정명진(鄭名振)·정곤수(鄭崑秀) 등을 배향하고 있다. 1683년(숙종 9) 창건되었으며, 1786년(정조 10) 사액되었다. 정면 4칸, 측면 2칸의 팔작지붕을 한 강당과, 정면 3칸, 측면 1칸의 맞배지붕인 사당 및 외삼문(外三門)이 있다.
본래는 1683년(숙종 9) 장흥읍 충렬리에 세워진 석대사(石臺祠)였는데 이곳에 진주성전투 때 순절한 정명세와 괴산전투 때 순절한 정명세의 동생 정명원을 배향했다. 1691년(숙종 17) 달량진사변(達梁鎭事變)에서 장흥부사로 싸우다 순절한 한온을 배향한 뒤 충렬사로 액호를 바꾸었다. 1868년(고종 5) 서원철폐로 그 곳에 유허비만 세우고 현재의 자리로 이건하였다.