원래 고려의 장리현(長利縣)인데, 994년(성종 13)성종이 평장사(平章事) 서희(徐熙)에게 명하여 이곳에 살던 여진족을 쫓아내어 성을 쌓게 하고, 군사상 요지로서 곽주라 칭하여 강동육주(江東六州)의 하나가 되었다.
1018년(현종 9) 방어사(防禦使)를 두었고, 1221년(고종 8) 반역이 있어 정양현(定襄縣)으로 격하시켰다. 10년 뒤에는 몽고병이 쳐들어와 이를 피하여 한때 해도(海島)로 옮겼다. 1261년(원종 2) 육지로 돌아와서는 수주(隨州)에 예속되었다가 1371년(공민왕 20) 다시 군이 되었다.
1413년(태종 13)곽산군(郭山郡)으로 개명하였다. 그 뒤 약 500년간 큰 변동이 없다가 1914년 행정구역개편에 따라 곽산군 전체가 정주군의 곽산면 등 여러 면으로 편성되었다.