본래 백제 때의 황등야산현(黃等也山縣)이었는데, 신라의 땅이 된 뒤 757년(경덕왕 16)에 황산군으로 고쳐 진령(鎭嶺)·진주(珍周)의 두 현을 속현으로 삼았다.
940년(태조 23)에 연산(連山)으로 고쳤으므로 황산의 명칭은 183년간 사용하였다. 현종 때 공주에 예속시켰다가 뒤에 감무를 두었고, 조선 인조 때 은진(恩津)·이산(尼山)·연산을 합쳐 은산(恩山)으로 하였다가 효종 때 다시 분리시켰다. 1914년 행정구역개편 때 논산군에 편입되었다.
국방상 요지로금강 북쪽의 논산평야 일부를 차지하는 황산벌로 알려진 곳이다. 신라의 김유신(金庾信)이 백제를 침입할 때 백제의 계백(階伯)이 황산벌에서 맞아 싸우게 되었다.
처음에는 백제군이 이겼으나 반굴(盤屈)·관창(官昌) 등의 어린 군사가 백제진영에 홀로 들어가 목숨을 버리니 이에 신라군사가 힘입어 백제군을 무찌르고 계백도 전사하였다.
후백제의 왕 견훤(甄萱)이 아들 신검(神劍)에 의하여 금산사(金山寺)에 갇혔다가 뒤에 탈출하여 고려에 귀순한 뒤 왕건과 함께 신검을 토벌하니, 신검이 싸움에 패하여 그의 아우들과 함께 왕건(王建)에게 항복하였다.
왕건이 신검을 용서하여주니 화병이 난 견훤은 등창이 나서 수일 후에 황산의 어느 절에서 죽었다. 이곳은 금강에 연하여 큰 산들이 이어져 있어 호남지방과 이어지는 교통상의 요지였다. 고려 말에는 왜구의 침입이 잦았던 곳이다. 지금의 연산면 지역으로 추정된다.