삼국통일 직후에 완성된 이른바 구주(九州)의 하나이다. 신라는 3세기 중엽에 해당하는 점해왕 때에 사벌국(沙伐國)을 빼앗아 주로 삼았다고 하는데, 이는 그대로 믿기 어려우며 525년(법흥왕 12)에 처음 설치된 것으로 생각된다.
그 뒤 사벌주는 557년(진흥왕 18)에 감문주(甘文州)로, 다시 614년(진평왕 36)에는 일선주(一善州)로 바뀌었다가 687년(신문왕 7)에 이르러 사벌주로 최종 확정되었다. 그 뒤 757년(경덕왕 16) 12월에 구주의 이름을 모두 고칠 때 상주(尙州)로 되었으나, 그 뒤에도 사벌주의 명칭은 계속 쓰였다.
757년 개편 당시 사벌주는 10개 군과 30개 현을 관장하였으며 주에 직속하는 현은 셋이 있었다. 주치(州治)는 현재의 상주이다. 또한 주에는 군부대로서 음리화정(音里火停)과 만보당(萬步幢)을 두었으며, 장관으로 도독(都督) 1인, 차관으로 주조(州助, 일명 州輔) 1인, 그 밑에 장사(長史, 일명 司馬) 1인을 두었다.