1969년에 사적으로 지정되었다. 조선 후기 임경업(林慶業)의 절의를 기리기 위하여 세웠다. 임경업은 일찍이 무과에 급제하여 영변부사ㆍ의주부윤을 역임하였다.
임진왜란 때 우리나라를 도와준 명나라의 은의를 생각하여 숭명배청운동을 주장했으나 뜻을 이루지 못하고 청나라의 포로가 되었다. 몇 년간 옥고를 치른 뒤 본국으로 소환되었으나, 김자점(金自點) 등의 모함으로 옥중에서 피살되었다. 그 뒤 그의 충절이 밝혀지면서 좌찬성에 추증되고, 충민(忠愍)이라는 시호가 내려졌다.
그의 무덤이 이곳에 있어 인근 선비들이 그의 덕망을 추모하여 1697년(숙종 23)에 충렬사를 건립하여 매년 봄ㆍ가을에 제향하였다. 평택임씨 문중에서 사우를 관리해오다가 1978년 국가에서 건물을 보수하고 경내에 조경사업을 실시하였다.
사당 앞에는 충주 충렬사비와 그의 부인 이씨의 정려비가 세워져 있다. 충주 충렬사비는 2006년 충청북도 유형문화재(현, 유형문화유산)로 지정되었다. 일제강점기에 그의 영정을 일본인들에게 도난당하여 종손이 예비로 보관하여오던 영정을 다시 봉안하여 향사(享祀)하고 있다. 사당 앞 우측에는 유물전시관을 마련하여 그가 평생 사용하던 보검을 비롯한 유품을 진열해놓고 있다.