643년(선덕여왕 12) 자장율사(慈藏律師)가 창건하였다.
자장이 당나라로 건너가 수도하던 중 중국의 태화지(太和池) 옆을 지날 때 한 신인이 나타나서 호국을 위하여 황룡사에 9층탑을 세우라 하고, 또 자신의 복을 빌기 위하여 경주 남쪽에 한 절을 지어주면 덕을 갚겠다고 하였다. 귀국 후 자장은 태화지에서 만났던 신인을 위하여 이 절을 창건하고, 중국에서 모셔온 불사리를 세 몫으로 나누어 이 절에 태화탑을 세우고 한 몫을 봉안하였다. 그러나 그 뒤의 역사는 거의 전래되지 않고 있다.
다만, 고려 명종 때의 김극기(金克己)가 지은 「태화루시서(太和樓詩序)」와 충숙왕 때 울주에 있었던 정포(鄭誧)의 태화루시, 그리고 이원(李原, 1368∼1429)의 「태화루시」에도 태화사가 기록된 것으로 보아 고려 말에서 조선 초에 이르기까지 존속했던 것으로 보인다.
사지(寺址)는 반탕골을 중심으로 한 황모산(黃茅山)일대로 추정되며, 유물로는 십이지상부도(十二支像浮屠)만이 전하고 있다. 이 부도는 1966년 3월 보물로 지정되었으며, 반탕골 태화사지 산비탈에 묻혀 있다가 1962년에 발굴되어, 경상남도청에 잠시 보관되다가 학성동 학성공원으로 옮겨졌다. 조각수법으로 보아 9세기의 작품으로 추정되는 이 부도는 우리나라 석종형부도의 시원을 이루고 있을 뿐만 아니라, 윗부분의 깊이 판 감실 아래에 나체상의 십이지신상을 조각하여 십이지신상연구에도 소중한 유물이 되고 있다.