묵사(墨寺)라고도 하였다. 창건 연대는 미상이며, 고려 말기에 충렬왕이 중창하고 주1으로 삼았다. 현재 확인되는 가장 오래된 기록은 1282년(충렬왕 8)에 제국대장공주가 병이 나 신효사에에 머물렀던 것인데, 이후 신효사에 충렬왕이 자주 행차하였고, 1308년 충렬왕이 세상을 떠난 곳도 신효사이다. 충렬왕 대 제국대장공주가 병이 났을 때 신효사에 여러 차례 머물렀고, 1285년 7월 13일에는 주2를 열었으며, 1296년(충렬왕 22)에는 제국대장공주가 신효사에 행차하여 연등회를 열었는데, 모든 주3을 주옥으로 치장할 정도로 화려한 행사를 열었다.
충렬왕 대 신효사에서는 제국대장공주와 원 세조의 명복을 비는 불사도 여러 차례 개최되어 신효사가 원 세조의 원찰의 성격을 지녔던 것으로 보인다. 원 세조가 죽자 충렬왕은 1295년 정월 16일 원 세조의 명복을 비는 법회를 열었고, 1296년 정월에는 원 세조의 대상(大祥)일에 신효사로 행차하여 분향하였으며, 1299년 정월에도 원 세조의 기일이 되자 충렬왕이 신효사에 행차하였다. 1297년 안평공주 즉, 제국대장공주가 사망하자 충렬왕은 신효사에 행차하여 공주의 명복을 빌었고, 이듬해인 1298년 안평공주의 소상을 신효사에서 열었다. 이처럼 충렬왕 대 주4 이후 신효사는 왕실에서 장례 기간 동안 불사를 여는 주요 사찰 중 하나였다.
충렬왕이 세상을 떠난 뒤 1308년 충선왕은 충렬왕의 주5를 신효사에서 열었고, 충혜왕과 충혜왕비 덕녕공주의 진전(眞殿)이 신효사에 조성되었으며, 공민왕은 1350년과 1356년 아버지인 충숙왕의 기일재를 신효사에서 지냈다.
한편, 1342년(충혜왕 복위 3)에는 이 절의 등촉향도(燈燭香徒)들이 왕의 주6를 열었는데 왕이 직접 재의 앞자리에 앉아 참여하였다. 1349년(충정왕 1)에는 이 절의 법사 수공(修公)이 주7를 위한 계의 일종인 상주(常住)를 설치하였다. 원나라에서 출세한 고려 출신 환관인 방신우(方臣祐)가 원나라 수원황태후(壽元皇太后)가 시주한 금박 60여정(錠)으로 만든 주8을 신효사에 두고 황태후를 위해 기도하였다.
1375년(우왕 9)에는 우왕이 통도사에 있던 주9를 신효사에 안치한 뒤 불공을 드리기도 하였다. 고려 이후의 자세한 역사는 알 수 없으나 조선 전기까지는 사찰이 있었던 것으로 보이며, 그 후에 폐허가 되었다.