쌍계사의 창건과 관련된 기록은 없으며, 절터의 발굴 상황 등을 고려해 볼 때 쌍계사는 조선시대 사찰로 보는 것이 합리적이다. 다만, 『범우고』에 기록된 사기(寺記)를 인용하면, 통일신라부터 고려시대에 이르는 이 사찰의 연혁은 다음과 같다. 854년(문성왕 16)에 백운(白雲)이 창건하였으며, 낭주(朗州)와 나주 사이의 국사봉(國師峰)과 덕룡산 사이에 있는 계곡에 있다고 하여 쌍계사라 하였다. 1244년(고종 31)에는 중국 방장산에서 아국사(阿國師)가 와서 사찰을 주1 한다. 그러나 이러한 기록은 주2가 불확실하여 조선 전기 이전의 연혁은 신뢰하기 어렵다. 『신증동국여지승람』 나주목 조에는 쌍계산에 사찰이 있었다는 기록이 있어 조선 전기에는 이 사찰이 존재했음이 확인된다.
쌍계사의 전성기는 조선 중기로 보이는데, 1545년 『묘법연화경언해』가 간행되는 등 16세기 쌍계사에서 간행된 불서가 현전하고 있고, 『효종실록』과 『현종실록』에도 쌍계사 관련 기사가 남아 있다. 1659년(효종 10) 쌍계사 불상에서 땀이 흘러내렸다고 한다. 실록에 따르면, 17세기 중반 쌍계사는 금성현, 즉 나주현에 백면지(白綿紙)를 전담으로 공급했었는데, 이를 1660년(현종 1) 종친인 숭선군(崇善君) 이징(李澂)이 주3 그 고을에서는 백면지 공급에 관여할 수 없게 되어 문제가 되기도 하였다.
조선 후기 기록에도 쌍계사에 대한 언급이 확인되지만, 1899년에 편찬된 『나주군읍지』에는 쌍계사가 폐사된 것으로 기록되어 있어, 조선 후기 어느 시점에 사찰이 폐사된 것으로 추정된다. 한편, 절터에서 발견된 유물들은 대개 조선 중기에서 조선 후기의 것으로 보이며, 특히 절터에서 발견된 괘불대(掛佛臺)에는 1770년에 새겨진 명문이 있어 이러한 기록을 뒷받침한다.
절터에는 현재 높이 183㎝의 대형 주4와 괘불대 2개가 남아 있으며, 절 입구에는 2m 높이의 주5과 함께 1986년 전라남도 민속자료(현, 전라남도 민속문화유산)로 지정된 쌍계사지 장승이 있다. 1900년대 초에는 주6가 있는 호연대사의 비가 있었으나 일본인들이 옮겨 갔으며, 6·25 직후에는 삼층석탑도 다른 곳으로 옮겨졌다고 전한다.