이 지역은 삼한시대는 변한에 속하여 다라국(多羅國)ㆍ초팔혜국(草八兮國)ㆍ산반계국(散半溪國) 등의 부족국가가 있었으나 1, 2세기경 대가야국에 병합되었다. 562년(진흥왕 23) 장군 이사부(異斯夫)에 의하여 신라에 복속되었으며, 이때 대야성에 도독부를 두었고 대량주(大良州)로 고쳤다.
이 지역은 삼국시대 백제와의 접경지대인 신라 서부지역의 요새지로서 642년(선덕여왕 11) 백제의자왕이 장군 윤충(允忠)을 보내어 대야성을 쳐서 함락시키니 이때 성주 김품석(金品釋)은 부인과 함께 자결하였다. 큰 타격을 입은 신라는 김춘추(金春秋)를 고구려에 보내어 구원을 요청하기도 하였다.
통일신라 이후 이곳의 군사적 중요성이 없어지자 757년(경덕왕 16) 고을을 강등시켜 강양군(江陽郡)으로 하였다. 920년 후백제의 견훤(甄萱)에게 함락되었으며, 1018년(현종 9) 합주(陜州)로 승격되었다.
1413년(태종 13) 지금의 이름인 합천으로 고쳐져 뒤에 군이 되었다. 신라 초기 대가야국에 속하였을 때 국내에서 가장 큰 고을이었으므로 대야성이라 한 것이다.