748년(경덕왕 7) 대내마 이순(李純)이 창건하였다는 설과 763년 신충(信忠)이 창건하였다는 설이 있다.
경덕왕 때 직장(直長) 이순이 일찍부터 발원하기를 나이 50세가 되면 출가하여 절을 짓겠다고 하였다. 748년 마침 그의 나이가 50세가 되었으므로 조연(槽淵)의 작은 절을 중창하여 단속사라 하고, 스스로 삭발하여 법명을 공굉장로(孔宏長老)라 하였다 한다.
또, 763년 신충이 두 친구와 관을 벗어 걸고 지리산으로 들어갔는데, 왕이 두 번이나 불러도 나오지 않고, 머리를 깎고 사문이 되어 왕을 위하여 단속사를 짓고 죽을 때까지 대왕의 복을 빌겠다고 하니, 왕이 허락하였다고 한다.
조선 초기 선종(禪宗)에 속하였으며, 폐사 연대는 전해지지 않고 있다. 현재 절터에는 1963년 보물로 지정된 단속사지 동 삼층석탑과 단속사지 서 삼층석탑이 원위치에 있으며, 주변에는 금당지를 비롯하여 강당지 등의 초석이 그대로 남아 있어 신라시대의 가람배치를 짐작할 수 있다. 그러나 현재 금당지에는 민가가 있어서 정확한 규모는 확인할 수 없다.
원래 위치에 건립되어 있는 동 · 서 삼층석탑은 전형적인 신라 석탑으로서, 삼국통일 이후 이와 같은 쌍탑 가람의 형식이 경주를 떠나 지방의 깊은 산골에까지 전파되었음을 살필 수 있다. 이밖에도 절터에서는 통일신라시대의 와당을 위시하여 비 조각이 출토되고 있으며, 근처에는 최치원(崔致遠)이 쓴 ‘廣濟嵒門(광제암문)’ 각석(刻石)이 있다.
경내에는 신라 병부령 김헌정(金獻貞)이 지어 813년(헌덕왕 5)에 세운 신행선사비(神行禪師碑), 1148년(의종 2) 이 절에 들어와 1159년에 입적한 탄연(坦然: 大鑑國師)의 영당(影堂)과 비, 그리고 최치원의 독서당이 있었다. 현재 신행선사비편의 일부는 동국대학교 박물관에, 그리고 대감국사비편은 숙명여자대학교 박물관에 보존되어 있다.
고려 말의 강회백(姜淮伯)은 과거하기 전에 이 절에서 글을 읽으면서 매화 한 그루를 손수 심었는데, 그 뒤에 벼슬이 정당문학(政堂文學)에 이르렀으므로, 그 매화나무를 정당매(政堂梅)라 하였다. 또, 이 절에는 솔거(率居)가 그린 유마상(維摩像)이 있었는데, 세상에서 전하기를 신화(神畫)라고 하였다. 한편, 이 절에서 1226년(고종 13)에 간행한 『선문염송집(禪門拈頌集)』이 있다.