본래 고구려의 각련성군(各連城郡, 또는 加兮牙郡)이었는데, 신라 경덕왕 때연성군(連城郡)이 되어 삭주도독부에 예속되었다. 고려 초에 이물성으로 바꾸었고, 성종 때교주단련사(交州團鍊使)로 품격을 높였다.
1018년(현종 9) 방어사로 고쳤다가, 충렬왕 때회주목(淮州牧)으로 승격시켰으며, 충선왕 때 지금의 이름인 회양으로 고치고 낮추어 부(府)로 하였다. 1413년(태종 13) 도호부로 하였으며, 세조 때 진(鎭)을 설치하였다.
이물성이나 가혜아의 뜻은 모두 ‘큰 마을〔大村〕ㆍ대읍(大邑)’을 나타낸다. 이곳은 강원도의 영서 북부지방의 중심지일 뿐만 아니라, 통일신라의 북방경계지역으로서 철령(鐵嶺)을 중심으로 관북ㆍ관서지방의 경계를 이루었다. 고려 초에도 동북방면을 개척하는 전진기지로서의 구실을 하여 매우 중요시되었던 곳이다.