679년(문무왕 19)에 창건하였으며 신문왕릉 옆에 있었다. 당나라는 674년신라가 그들의 도독부(都督府) 군사를 공격한다는 핑계로 50만 대병을 일으켜 신라를 공격하였으며, 신라는 부처님의 힘으로 그들을 퇴치하기 위하여 이 절을 창건하였다.
674년 2월 김인문(金仁問)으로부터 당군의 침입이 있을 것이라는 말을 들은 의상(義湘)은 즉시 귀국하여 문무왕에게 이 사실을 알렸고, 문무왕은 명랑법사(明朗法師)에게 적을 막을 계책을 물었다.
명랑은 낭산 남쪽 신유림(神遊林)에 사천왕사를 세우고 도량(道場)을 열 것을 권하였다. 그러나 당군의 침략으로 절을 완성시킬 시간적 여유가 없게 되자, 명랑은 채백(彩帛)으로 절을 짓고 풀로써 오방(五方)의 신상(神像)을 만든 뒤 유가명승(瑜伽明僧) 12인과 더불어 문두루비법(文豆婁祕法:밀교의 비법)을 썼다.
당군과 신라군이 접전하기도 전에 풍랑이 사납게 일어나 당나라 배가 모두 침몰하였다. 그 뒤 5년 만에 절을 완성하여 사천왕사라 하였다.
『삼국유사』에 의하면 고려 때까지는 문두루비법을 행한 단석(壇席)이 남아 있었다 하나 지금은 자취를 찾아볼 수 없다. 이 절을 지은 곳인 신유림은 칠처가람지(七處伽藍址)의 하나로서 선덕여왕이 그곳을 도리천(忉利天)이 있는 곳이라 하여 신성시하였다.
선덕여왕은 죽으면서 도리천에 묻어줄 것을 유언하였는데 그곳이 낭산의 남쪽이라 하였다. 선덕여왕이 죽은 지 30여 년 만에 왕릉 아래 사천왕사를 짓게 되자 사람들은 여왕의 예언이 맞았음을 알게 되었다.
사천왕이 거주하는 사왕천(四王天)은 불교에서 사바세계의 중심지로 보고 있는 수미산(須彌山)의 중턱에 위치하는 곳으로 그 꼭대기에 도리천이 있다. 선덕여왕릉과 사천왕사의 설화에서 서라벌의 가운데 산인 낭산을 수미산으로 생각하려 하였던 신라 불국토사상(佛國土思想)의 일면을 살필 수 있다.
통일 전의 신라 사찰들은 모두 금당(金堂:사찰의 중심이 되는 법당) 앞에 1기의 3층탑 또는 5층탑을 세우는 일탑일가람제(一塔一伽藍制)를 따랐다.
통일 이후에는 금당을 중심으로 동쪽과 서쪽에 각각 탑을 세우는 쌍탑가람제(雙塔伽藍制)로 변모되었다. 이 절은 통일 이후에 발전된 형식을 갖춘 쌍탑가람제에 의한 최초의 사찰 가운데 하나이다.
가람배치는 금당을 중심으로 동탑 · 서탑이 있고, 북방으로는 좌경루(左經樓) · 우경루(右經樓)가 있어서 마치 본존불(本尊佛)이 안치된 금당을 중심으로 사천왕이 배치된 것과 같은 특이한 가람형태를 이루었다. 유지에 남아 있는 문화유산으로는 머리가 잘린 귀부(龜趺) 2기와 당간지주(幢竿支柱) 1기뿐이다.
당간지주는 망덕사지(望德寺址)의 것과 같은 모습으로 전체 높이 2.4m이다. 이 절 동편에 비신(碑身)과 거북의 머리가 없어진 귀부 2기가 있는데 이는 무열왕릉의 귀부에 버금가는 걸작이다.
사실적인 표현수법, 등에 새겨진 아름다운 음각(陰刻)은 신라시대 귀부 중 손꼽히는 작품의 하나이다. 현재 이 절에는 없지만 1922년의 조선총독부 『조선고적조사보고』에 의하면 우수한 당초문(唐草文)의 와당(瓦當)과 사천왕부조(四天王浮彫)의 전(塼:벽돌) 등이 출토되었다고 한다.
선덕왕대에 사적을 남겼다고 전해지는 양지(良志)의 걸작품으로 추정된다. 수많은 그의 작품 중에서도 사천왕사의 천왕상(天王像), 팔부신중상(八部神衆像)은 대표작으로 전해져 오지만, 지금은 허리 윗부분이 잘린 천왕상만 전해져 국립경주박물관에 보관되고 있다.
사천왕사에 머물렀던 고승으로는 명랑 · 양지 외에, 경덕왕 때에 「도솔가(兜率歌)」 · 「산화가(散花歌)」 · 「제망매가(祭亡妹歌)」 등의 향가를 지었고 피리를 잘 불어 달조차 가기를 멈출 정도였다고 전하는 월명(月明)이 알려져 있다. 당시 사람들은 그가 살던 사천왕사 앞 동네를 월명리(月明里)라 불렀을 만큼 그와 사천왕사와는 인연이 깊었다.