676년(문무왕 16) 의상(義湘)이 부석사(浮石寺)를 지은 뒤 창건한 절로, 화엄십찰(華嚴十刹) 중의 하나이다. 지금 남아 있는 건물들은 모두가 1831년(순조 31) 선사 월송(月松)이 중건한 것이며, 1848년(헌종 14) 대운(大雲)이 마하연 뒤에 마하연 선실을 지었다. 1932년에는 형진(亨眞)이 59칸의 당우를 중수하였다.
이 절의 주봉인 법기봉은 법기보살(法起菩薩)의 상주설법(常住說法)을 상징하는 뜻에서 붙여진 이름으로, 그 봉우리 밑에는 합장하고 고개를 숙인 상제보살(常啼菩薩) 모양의 자연석이 있다. 『화엄경』에 7일 동안 간절히 기도하면서 법기보살의 반야법문(般若法門)을 듣는다고 설명되어 있는 보살이다.
또한, 이 절 남쪽 혈망봉(穴望峯)에는 법기보살의 석상이 있어 나옹(懶翁)을 비롯한 도속(道俗)들이 참배하였다 하나, 지금은 그 반석도 어느 것인지를 알 수가 없다. 이들 모두는 신라의 불국토설(佛國土說)을 입증하는 중요한 증거들이다. 옛날 의상이 중향성(衆香城)에서 법기보살의 주처를 경배하고 일만이천 보살과 함께 마하반야(摩訶般若)를 강설하였으므로 마하연사라고 했다 한다.
마하연(mahā-yāna)은 대승(大乘)을 의미한다. 속전(俗傳)에는 금강산을 자주 찾았던 조선 세조의 근기(根機)가 소승(小乘)에 머물렀기 때문에 이 도량에는 들지 못하였다고 한다. 즉, 마하연의 부속암자인 원통암(圓通庵)과 불지암(佛地庵)에는 세조가 친히 베푼 경찬회(慶讚會)가 있었지만 이곳에서만은 법회를 열지 못하였다고 한다.
마하연사 주위에는 가섭암지(迦葉庵址)·수미암(須彌庵)·선암(船庵) 등의 유적지가 있다. 가섭암은 가섭동에 있으며, 자장(慈藏)이 중국에서 귀국하여 이곳을 보고 “이 굴의 유정(幽靜)하고 명묘(明妙)함이 서역의 빈발암을 방불한다.”고 한 뒤부터 가섭암으로 불리기 시작했다. 그러나 언제 폐사가 되었는지는 알 수 없다.
수미암은 원효(元曉)가 창건하였으며, 그 남쪽의 영랑대(永朗臺)에는 수미탑(須彌塔)이라는 자연 석탑이 있다. 선암은 수미암 서쪽에 있는데, 박빈(朴彬)이 창건한 암자이다. 그는 이곳에서 혼자 염불정업(念佛淨業)을 닦다가 30년 되던 해의 백중일(百中日)에 극락세계의 성중(聖衆)들의 내영(來迎)을 받으며 왕생하였다고 한다.