고령에 있던 대가야(大加耶)의 별칭으로 생각된다. 상가야라는 말은 다른 곳에는 보이지 않고, 『삼국사기』악지(樂志) 중 우륵(于勒)이 지은 12곡(曲)의 이름 가운데 이 말에 해당할 수 있는 곡명이 보인다.
12곡의 이름은 ① 하가라도(下加羅都), ② 상가라도(上加羅都), ③ 보기(寶伎), ④ 달기(達己), ⑤ 사물(思勿), ⑥ 물혜(勿慧), ⑦ 하기물(下奇物), ⑧ 사자기(獅子伎), ⑨ 거열(居烈), ⑩ 사팔혜(沙八兮), ⑪ 이사(爾赦), ⑫ 상기물(上奇物)인데 ③, ⑧을 제외하면 모두 지방 이름을 붙인 곡명이다.
아마도 그 지방에서 자연 발생적으로 불리던 가사에 곡을 붙인 것으로 여겨진다. 상가야는 바로 ②의 상가라도에 해당하는데, 도(都)는 ‘양산도(陽山都)’에서와 같이 가락을 뜻하는 것으로 짐작된다. 상가라는 하가라에 대칭하는 말로, 상·하가라는 아마도 그 위치를 따라 통속적으로 불린 이름인 듯하다.
『일본서기』긴메이(欽明) 2년기(紀) 4월조에 남가라(南加羅)를 알가라(アリヒシノカラ)라고 읽었는데, 알은 ‘앞’·‘아래’의 뜻도 있어 하가라가 된다. 하가라는 가락국임나국인 지금의 김해 지방이다. 이에 대해 상가라는 경상북도 고령의 대가야를 가리키는 것으로 볼 수 있다.
대가야는 지역적으로도 상위에 있었을 뿐 아니라 가야 지방이 신라에 통합될 때에도 최후까지 후기 가야연맹체의 맹주국으로서 운명을 같이했으며, 『동국여지승람』고령조에서도 대가야와 금관가야를 형제 격으로 표현하고 있어 상가라, 즉 상가야에 해당되는 지역이라 할 수 있다.