이 절은 854년(문성왕 16)에 백운(白雲)이 창건하였으며, 낭주(朗州)와 나주 사이의 국사봉(國師峰)과 덕룡산 사이에 있는 계곡에 있다고 하여 쌍계사라 하였다.
그 뒤 1065년(문종 18)에는 호연(浩然)이 중창하였고, 1244년(고종 31)에는 아국사(阿國師)가 중국 방장산으로부터 와서 중창하였는데 중창에 얽힌 설화가 전한다. 아국사는 삼재(三災)가 침범하지 않는 이곳에 절을 중창하기 위해서 절 앞에 있는 못을 메우고자 하였다. 그러나 이 못에 살고 있었던 용은 조화가 많았으므로 부적을 써서 못에 던졌다고 한다. 그날 밤 광풍과 우뢰를 동반한 비가 내렸으며, 이튿날 보니 산사태로 못이 저절로 메워져 있었으므로 쉽게 절을 중창하였다.
그는 용의 덕을 기리기 위해서 ‘덕룡사(德龍寺)’라고 하였다. 1463년(세조 9)에는 왕의 꿈에 한 신인(神人)이 나타나서 ‘묘법연화경(妙法蓮華經)’ 다섯 글자를 써주면서, “이 책을 만들어 덕룡사에 비치하면 사직(社稷)이 튼튼하리라.”는 말을 남기고 사라졌다. 왕은 곧 19명의 신하에게 명하여 간경도감(刊經都監)에서 언해본으로 발간하도록 하였다. 그 뒤 이 절은 쌍계사로 바뀌었다가 폐허화되었다.
절터에는 현재 높이 183㎝의 대형 석주(石柱)와 괘불대(掛佛臺) 2개, 절 입구에는 2m 높이의 입석과 1986년 전라남도 민속자료(현, 민속문화유산)로 지정된 쌍계사지 장승이 있다. 1900년대 초에는 귀부가 있는 호연대사의 비가 있었으나 일본인들이 옮겨갔으며, 6·25 직후에 삼층석탑도 옮겨갔다고 한다.