31본산 중의 하나인 유점사(楡岾寺)의 말사였다. 신계사(新戒寺, 新溪寺)로도 표기한다. 519년(법흥왕 6)에 보운조사(普雲祖師)가 창건하였다.
예로부터 이 절 옆에 있던 신계천에서는 고기가 많이 잡혔는데, 살생으로 성역(聖域)의 참된 뜻을 더럽힌다고 하여 보운조사가 용왕(龍王)에게 부탁해서 고기를 다른 곳에서 놀도록 하였으므로 그 신이로움을 나타내기 위하여 신(神)이라는 한자를 쓰게 되었다고 한다.
창건 이후 653년(선덕여왕 7)에는 김유신(金庾信)에 대한 왕실의 기원을 기념하기 위하여 중수하였고, 682년(신문왕 2)에는 김유신의 부인이 중건하였다. 786년(원성왕 2)에는 태능(泰能)이 중건하였고, 886년(정강왕 1)에는 한림왕(翰林王)이 중수하였다.
918년(경명왕 2)에 법인국사(法印國師)가 중수하였고, 1130년(인종 8)에 묘청(妙淸)이 중건하였으며, 1332년(충숙왕 복위 1)에는 우심(尤深)이 중수하였다.
조선시대에는 1452년(문종 2)에 해파(海波)가 중건하였고, 1485년(성종 16)에는 지료(智了)가 중수하였으며, 1531년(중종 26)에는 유환(宥還)이 시주를 얻어 중건하였다.
1597년(선조 30)에는 강원감사 황융중(黃隆中)이 임진왜란으로 모두 불타버린 절을 중건하였고, 1669년(현종 10)에는 석철(石喆)이, 1711년(숙종 37)에는 청휘대사(淸暉大師)가 각각 중건하였다. 그 뒤 1782년(정조 6)에 재우(載雨)와 관성(寬性)이 향로전(香爐殿)을 중수하였다. 또한 1821년(순조 21)에는 유신(宥信)이 향로전을 다시 중수하였고, 1835년(헌종 1)에는 조정(朝廷)으로부터 모연금(募緣金)을 받아 절 전체를 중수하였다.
1869년(고종 6)에는 동하성의(東河性宜)가 영산전(靈山殿)과 첨성각(瞻星閣)을 건립하였고, 1874년(고종 11)에는 취암(翠巖)과 의성(義惺)이 적묵당(寂默堂)을 중건하였으며, 1880년에는 의성과 지담(止潭)이 유리전(瑠璃殿)을 중수하였다.
1887년에는 대웅전을 중창하고 영산전을 옮겨지었다. 1893년에는 칠성각을 중수하고, 1914년에는 대향각(大香閣)을 중건하였으며, 1919년에는 김우화(金雨化)가 최승전(最勝殿)을 건립하였다.
1922년 12월에 용화전(龍華殿)이 화재로 모두 불타버렸고, 1929년에는 만세루(萬歲樓)를 중건하였다. 그러나 그 뒤 화재로 소실되어 1945년경에는 반야보전(般若寶殿) · 나한전 · 칠성각 등의 전각만이 남아 있었고, 반야보전 앞에 석탑 1기가 남아 있었다.
1998년 3월 14일 체결된 ‘금강산 문화재 복원을 위한 합의서’를 바탕으로 남측의 ‘금강산신계사복원추진위원회’(한국불교종단협의회)와 북측의 ‘조선불교도연맹’이 공동으로 신계사 복원사업을 진행하였으며, 2007년 10월 13일에 준공식을 가졌으나 신계사의 운영을 놓고 남측과 북측의 의견이 대립하는 가운데 현재 북측에서 관리하고 있다.
이 신계사의 서편 골짜기에는 부속 암자인 보광암(普光庵)이 있다. 그곳에는 화엄각(華嚴閣)이라는 별당이 있어서 뜻있는 승려들의 수도처로 사용되었고, 근세의 고승 대응당(大應堂)이 이곳에 오래 머물렀다고 한다. 그는 뛰어난 달변으로 특히 법문을 잘 하였는데, 한꺼번에 3,000명이나 되는 신도의 귀의를 받은 일도 있었다고 한다.