본래 백제의 황등야산군(黃登也山郡)이었는데, 757년(경덕왕 16)에 황산군(黃山郡)으로 고쳤다.
940년(태조 23)에 연산(連山)으로 고쳐 현이 되었고, 1018년(현종 9)에 공주의 속현이 되었다가 뒤에 감무를 두고, 1413년(태종 13)에는 현감을 두었다. 1636년(인조 14)에는 이성(尼城)·은진(恩津)과 합해서 은산현(恩山縣)이 되었다가 1656년(효종 7)에 다시 분리하였다.
1895년(고종 32)에 군으로 승격하여 공주부의 관할이 되었다가 1914년 행정구역 개편 때 논산군에 합하여 연산면이 되었다.
연산이라는 지명은 황산(黃山)의 ‘황(黃)’과 연산의 ‘연(連)’이 같은 뜻을 가지는 것으로 큰 산들이 연이어 있어서[黃登也山] 국방상의 요지라는 뜻에서 나온 것이다. 신라의 김유신(金庾信)과 백제의 계백(階伯)이 최후의 일전을 벌였고, 후백제의 신검(神劍)이 이곳에서 왕건(王建)에게 패하였던 곳이다.
군사적으로 중요한 곳이어서 북산(北山)·대둔산(大芚山)·외성(外城) 등의 유적이 남아 있다. 조선시대에는 노성(魯城)·은진·고산(高山)·진산(珍山)·진잠(鎭岑) 등지와 연결되는 도로가 발달하였다.