1990년 전라남도 기념물로 지정되었다. 이대원은 1587년 녹도만호로서 남해안에 출몰하는 왜적을 맞아 전과를 올렸고 손죽도(損竹島) 해상에서 순절하였다. 시호는 충렬(忠烈)이다. 정운은 유성룡의 천거로 1591년 녹도만호로 부임했고 임진왜란 때에 이순신과 함께 옥포·한산해전 등에서 선봉장으로서 전과를 올리고 몰운대(歿運臺)에서 순절하였다. 시호는 충장(忠壯)이다.
원래는 녹도만호이던 이대원을 기려 1587년(선조 2) 이대원의 사당이 지어졌고, 1592년에는 전라좌수사 이순신의 청으로 임란시에 전공을 세운 정운을 합향하였다.
1597년 정유재란으로 불탄 뒤 1681년(숙종 7) 사우 중건을 추진하여 1682년(숙종 8) 임척(林滌)과 서봉영(徐鳳齡) 등 호남유림 연명으로 사액을 청하는 소를 올려 1683년 쌍충사로 사액되었다. 1735년(영조 11) 보수하였고 1868년(고종 5) 헐린 뒤 1922년 강당, 1924년 신실까지 지었으나 1942년 일본인들에 의해 다시 폐허화 되었다.
1947년과 1957년에 개축하였다. 앞면 3칸의 맞배집 사당, 2.5m의 지반차를 두고 정면 5칸의 겹처마 팔작지붕의 강당, 그리고 관리사 등이 있다.