대한불교조계종 제8교구 본사인 직지사(直指寺)의 말사이다. 사불산의 산마루에는 사면석불상(四面石佛像)이 있는데, 여기에는 다음과 같은 설화가 전한다. 587년(진평왕 9) 붉은 비단으로 싸인 이 석불이 하늘에서 떨어졌다.
왕이 와서 예배하고 이 바위 옆에 절을 창건하고 대승사라 하였으며, 망명비구(亡名比丘)를 청하여 절을 맡기고 사면석불의 공양을 올리게 하였다. 망명비구는 항상 『법화경』을 독송하였으며, 죽고 난 뒤 무덤에 한 쌍의 연꽃이 피었다는 이야기가 전한다.
고려 고종 때 상주목사 최자(崔滋)는 대승사의 서남쪽에 있는 백련사(白蓮寺)를 새롭게 단장하였으며, 조선 초기 기화(己和)가 이 절의 조전(祖殿)에 있으면서 『반야경』을 연구하였고, 반야사(般若社)를 결성하여 후학들을 지도하였다.
임진왜란으로 전소된 뒤 1604년(선조 37)부터 1701년(숙종 27)까지 법당을 비롯하여 승당(僧堂) · 동상실(東上室) · 관음전 · 조전 · 미륵전 · 중실(中室) · 시왕전(十王殿) · 향로전(香爐殿) · 천왕문(天王門) · 만세루(萬歲樓) · 침계당(枕溪堂) · 금당(金堂) · 영자전(影子殿) · 향적전(香積殿) · 응향전(凝香殿) · 나한전(羅漢殿) · 청심전(淸心殿) 등을 신축하였다.
이 중 금당은 1692년(숙종 18)에 지었는데, 미면사(米麵寺: 白蓮寺) 삼존불을 옮겨 봉안하였다. 1727년(영조 3) 종각을 단장하였고, 1730년 금강문(金剛門)을 지어 금강역사상과 문수보살 · 보현보살상을 모셨으며, 다음해 천왕문과 금강문 · 일주문을 단장하였다.
그 때의 산내 암자로는 미륵암(彌勒庵) · 사불암(四佛庵) · 상적암(上寂庵) · 대비암(大妃庵) · 묘적암(妙寂庵) · 묘봉암(妙峰庵) · 윤필암(閠筆庵) · 문수암(文殊庵) · 보현암(普賢庵) 등 9암이 있었다. 1725년 의학(義學)이 삼존불상을 개금하였는데 이때 아미타불의 복장(腹藏)에서 사리(舍利) 1과와, 신룡(神龍) 1년(705) 금으로 쓴 『화엄경』 7권이 나왔다.
1862년(철종 13) 명부전(冥府殿)과 응진전(應眞殿)을 제외한 대부분의 건물이 소실되자 의운(意雲) · 취월(就越) · 덕산(德山) 등이 중건하였고, 1867년(고종 4) 누각 등을 건립하였다. 1872년 의운이 극락전을 중건하였고, 이듬해 누각 밖으로 석축을 쌓고 회랑 30여 칸을 신축하였다.
1899년 월파(月波)가 중심이 되어 염불당(念佛堂)을 만들고 미타계(彌陀契)를 설치하였으며, 환경(幻鏡) · 화응(華應) · 학송(鶴松) 등은 동별당(東別堂: 祖師堂)에 염불만일회(念佛萬日會)를 설치하여 7년 동안 정진하였다. 이때 동별당이 좁고 퇴락하여 많은 승려들이 정진할 수 없었으므로 1906년 동별당 동쪽에 건물을 짓고 쌍련암만일회(雙蓮庵萬日會)를 개설하였다. 1956년 화재로 대부분의 건물이 소실되었고 1966년에 중건하여 오늘에 이르고 있다.
현존하는 당우로는 대웅전을 중심으로 좌우에 극락전 · 나한전 · 시왕전 · 선원 · 요사채 등이 있으며, 부속 암자로는 묘적암 · 윤필암 · 상적암 등이 있다. 문화유산으로는 1973년 보물로 지정된 대승사목각탱화부관계문서 4매, 1989년 보물로 지정된 금동보살좌상, 1988년 경상북도 유형문화재(현, 유형문화유산)로 지정된 마애여래좌상, 사적비와 아미타불상에서 나온 금자 『화엄경』 7권, 석가모니 사리 1과 등이 있으며, 창건설화에 얽힌 사불암과 그 아래에 세워진 대웅전은 조화를 이루어 신비감을 준다.