이 사우는 정유재란 때 남원성에서 왜적과 싸우다 순국한 5천여 영령들을 모아 그들의 순국의 뜻을 기리기 위하여 1612년(광해군 4) 유림들이 자발적으로 용성관(龍城館) 내에 세우고 제사지내던 것을 1675년(숙종 1) 지금의 남원역 서편으로 옮긴 것이다.
이전에 효종은 충렬사라는 당호를 하사하고, 현종은 제문을 지어 보내기도 하였으나, 그 뒤 1869년(고종 6) 흥선대원군의 서원철폐령에 따라 철폐되었다가 1879년 다시 재건되었다. 그 후 일제강점기에 일본인들에 의하여 다시 헐려진 것을 1964년 이 지방 유림들에 의하여 현 위치로 옮겨지었다.
이 곳에는 처음에는 접반사(接伴使) 정기원(鄭期遠), 전라병사 이복남(李福男), 조방장 김경로(金敬老), 부사 임현(任鉉) 등 4인의 충신을 봉안하여 제사를 지내다가 뒤에 산성별장(山城別將) 신호(申浩) 등 3인을 추가하여 7인을 봉안하였으며, 또 다시 13인을 추가하여 현재는 20인을 봉안하고 있다.
충렬사가 안치된 면적은 만인의총(萬人義塚)과 함께 3만여 평에 이르며, 1975년 정부는 이곳을 성역으로 지정, 정화작업을 벌여 경내는 한층 장엄해져 연중 관광객과 참배객들이 찾고 있다.