『신증동국여지승람』에 따르면 762년(경덕왕 21)에 휴류산성을 축조하였다는 기록이 보이는데, 이는 고구려 때에 쌓은 성을 보수한 것을 말한다. 이후에도 여러 번 보수되었고 현재 있는 성벽은 조선시대에 규모를 축소하여 고쳐 쌓은 것이다.
휴류산성이 있는 휴류산은 이 지방사람들에게는 휘라산, 휴라산이라고도 불리며 해발 156m로 이 지역에서 제일 큰 산이다. 사슴이 누운 모양으로 생긴 산이라 하여 녹와산(鹿臥山)이라고도 한다. 산성은 이 산의 자연 지세를 이용하여 반달형으로 쌓았다. 이곳은 본래 고구려의 휴암군으로 성내에서 출토되는 와편과 성돌의 형태 및 성벽의 축조방법을 통해 고구려성임을 알 수 있다. 성 안과 성벽유지에서는 노끈무늬 기와편을 비롯하여 붉은 색과 회색으로 된 고구려 기와편과 신라 기와편를 비롯하여 고려에서 조선시대에 이르는 기와편들이 수습되었다. 또한 주변에는 고구려 고분군들이 분포하고 있다.
성벽은 은파벌에 면한 북쪽은 비교적 높고 녹와산을 낀 남쪽은 낮게 축성하였으며, 일정하게 4각추형태로 다듬은 성돌로 벽돌 쌓듯 서로 엇물려 쌓았다. 성문은 현재 서, 남, 북에 각각 흔적을 남기고 있는데 그것은 당시의 교통조건과 함께 자연지세를 동시에 고려한 위치로 보인다.
휴류산성은 고구려의 수도 평양에서 남으로 통하는 중요한 길목에 위치하고 있기 때문에 당시 수도성을 보위하던 중요한 요새의 하나로 추정되고 있다. 전설에 의하면 옛날 두 오누이가 서로 도우면서 쌓은 성이라고 하는데 오빠는 휴류산성을 쌓고 누이동생은 토성을 쌓았는데 누이동생이 먼저 쌓고 달려와 함께 휴류성의 쌓기를 끝냈다고 한다.