본래 고구려의 각련성군(各連城郡)이었는데 신라 경덕왕 때 연성군(連城郡)으로 고쳤다. 1308년(충렬왕 34)에 철령(鐵嶺)에서 적병을 파수하여 막는 데 공이 있다고 하여 회주목으로 승격시켰다. 1310년(충선왕 2)에 모든 목이 없어짐에 따라 회양부로 낮추었다.
이곳은 통일신라나 고려 때에 북방을 지키는 군사적인 요새였다. 문무왕 때 거란 말갈족이 장양(長楊)을 침입하고, 남구(嵐丘)를 포위하였을 때 현령이 탈출하여 병사를 이끌고 이를 쳐부순 적이 있다.
고려 고종 때는 교주방어병마사(交州防禦兵馬使)가 거란과 싸워 패한 적이 있고, 동진(東眞)의 군사가 금강성(金剛城)을 침입하자 별초(別抄) 3,000명을 보내어 이를 구한 적이 있다.
충렬왕 때에는 거란병이 침입하자 철령만호가 철령을 지키며 이들이 하나씩 고개를 넘을 때 모두 섬멸하였다. 이와같이, 이곳은 관북해안지방으로부터 중부지방을 지키는 국방상요지로서, 또는 교통의 요지로서 중요시되던 곳이었다.