고려 말에 이성계(李成桂)가 황산에서 왜구를 섬멸한 일을 기록한 비가 있던 곳이다.
황산은 운봉읍 소재지에서 동쪽으로 약 8㎞ 떨어진 해발 695m의 바위산이다. 1380년(우왕 6)에 삼도순찰사 이성계는 산 아래 협곡에서 배극렴(裵克廉, 1325∼1392) · 이두란(李豆蘭) 등 휘하의 여덟 원수를 거느리고 함양에서 공격해오는 왜구들과 치열한 전투를 벌여 적장 아지발도(阿只拔都)를 사살하는 등 큰 승리를 거두었다. 황산대첩은 이후 크게 알려져 그 내용이「용비어천가(龍飛御天歌)」에도 수록되었다.
1577년(선조 10)에는 당시의 승전 사실을 길이 전하기 위하여 호조판서 김귀영(金貴榮, 1520∼1593)이 글을 짓고 송인(宋寅, 1517∼1584)의 글씨로 새긴 황산대첩비가 건립되었다. 건립 당시에는 비각(碑閣) · 별장청(別將廳) 등의 다른 건물도 지어 비를 지키도록 하였다. 지금도 비터에는 그 흔적이 남아 있다.
1945년 1월에 남원의 경찰은 일제의 민족문화 말살정책에 따라 소방대를 동원하여 비를 폭파하고 비문의 글자를 긁어 버렸다.1963년에 사적으로 지정된 뒤 깨진 거북돌을 다시 맞추고 오석(烏石)으로 비신을 다시 세웠고, 1973년에는 비전(碑殿) · 홍살문 · 삼문 · 담장 등과 함께 여러 부속건물 등을 새로이 정비하고 단장하였다. 새로 세워진 대첩비는 높이 4.25m로, 용을 새긴 이수(螭首)와 거북 모양의 귀부(龜趺)를 갖추고 있다.