대한불교조계종 제12교구 본사인 해인사(海印寺)의 말사이다.
548년(진흥왕 9) 연기(緣起)가 창건하여 평원사(平原寺)라 하였다. 그 뒤 폐사가 되었던 것을 1685년(숙종 11)운권(雲捲)이 옛터에 절을 짓고 대원암(大源庵)이라 하였으며, 1890년(고종 27)구봉(九峰)이 낡은 건물을 중건하고 서쪽에 조사영당(祖師影堂), 동쪽에 방장실(方丈室)과 강당을 짓고 대원사로 이름을 바꾸었다.
1913년 12월 화재로 소실되자 주지 영태(永泰) 등 50여 명이 16,000원의 시주를 얻어, 1917년 전(殿) · 누(樓) · 당(堂) · 각(閣)과 요사채 등 12동 184칸의 건물을 중건하였다. 1948년 여순반란사건 때 공비들의 약탈 방화로 소실된 뒤 8년 동안 폐허가 되었으나, 1955년 승려 법일(法一)이 다시 중창한 뒤 비구니선원(比丘尼禪院)을 개설하여 오늘에 이르고 있다. 이 절의 선원은 석남사(石南寺) · 견성암(見性庵) 등과 함께 우리나라의 대표적인 비구니 참선도량으로 손꼽힌다.
현존하는 당우로는 대웅전 · 원통보전(圓通寶殿) · 응향각(凝香閣) · 산왕각(山王閣) · 봉상루(鳳翔樓) · 천왕문(天王門) · 범종각 · 주지실 · 대방 · 객실 · 창고 등이 있으며, 절 뒤쪽에는 사리전(舍利殿)이라는 암자가 있어 다른 지방에서 수도하러 온 여승들이 기거하고 있다.
국가유산으로는 1992년 보물로 지정된 산청 대원사 다층석탑이 사리전 앞에 있다. 646년(선덕여왕 15) 자장(慈藏)이 세웠다는 이 탑은 돌이 철분을 많이 함유한 탓으로 붉은 물이 스며 나와 강렬한 인상을 풍기고 있으나 조각은 소박하다. 하단 네 귀퉁이에는 신장상(神將像)을 세우고 사면에는 연화문(蓮花文)을 조각하였으며, 체감의 비율은 거의 완벽하다. 옥개석은 둔중하며 제9층의 사우(四隅)에는 작은 종을 달았다.
200년전 이 탑을 개축할 때 72과의 사리가 나왔다고 하는데, 큰 것은 녹두알 만하였고 작은 것은 기장알 정도의 크기였다고 하나 지금은 전해지지 않는다. 나라에 경사가 있으면 탑전에서 서광이 비치고 향내가 경내를 진동시켰다고 하며, 몸과 마음이 맑은 사람은 곁 연못의 물에 비친 탑의 그림자 속에서 탑 안의 사리를 보았다는 말도 전해지고 있다.
이밖에도 절 입구에는 부도와 방광비(放光碑)가 있고, 절 부근에는 옛날 선비들이 수학하였다는 거연정(居然亭) · 군자정(君子亭) 등이 있다.