높이 1030.6m. 산을 형성하는 암석은 중생대 백악기(白堊紀)의 신라통(新羅統) 하부에 속하는 퇴적암류로 적색역암(赤色礫岩)과 적색셰일 · 응회암 등이다.
이 신라통 특유의 적색 계통의 퇴적암이 높이 400m의 절벽으로 산의 중턱을 감싸듯이 노출되어 있어서 마치 치마를 두른 것 같다 하여 적상산이라 하였을 것이다. 더구나 가을에 단풍이 들면 적색은 더욱 강화된다.
적상산의 산체는 남북 방향의 긴 타원형으로서, 동쪽의 곡저인 적상면 괴목리나 서쪽의 곡저인 사천리의 높이는 300m 내외이다. 이곳에서부터 경사각 10° 내외로 높이 550m까지는 완경사이다가 산의 중턱인 550m에서 950m 내외까지는 노암(露岩)의 절벽이다. 정상부는 900∼950m에서 1030.6m까지로 경사각 15° 내외의 완경사로 평정봉(平頂峰)이다.
이 산은 입체적으로는 정부(頂部)가 잘린 타원추의 모양으로 계곡이 방사상으로 발달하였으나 모두 무주 남대천(南大川)의 집수역이 되어 금강수역에 속한다. 적상산은 상산(裳山), 또는 상성산(裳城山)이라고도 불린다. 산정이 평탄하고 물이 풍부하며 산의 허리가 절벽이라 천혜의 요새지가 되었다.
이와 같은 산세의 유리함 때문에 1374년(공민왕 23) 최영(崔瑩)의 요청으로 적상산성이 축성되고 거란병과 왜구의 침략 때에는 근방 여러 군의 백성이 이곳에서 항전하였다. 1614년(광해군 6)에는 적상산사고(赤裳山史庫)를 건립하고 《조선왕조실록》 등을 보관하였다. 적상산성과 적상산사고를 지키기 위하여 1643년(인조 21)에는 호국사(護國寺)가 세워졌다.
또한, 극락전 및 괘불(掛佛) 등의 국가유산을 가지고 있는 안국사(安國寺)가 높이 1,000m의 적상산성 안에 위치한다. 고려 시대에 건립된 안국사는 여러 채의 부속 건물과 말사를 거느린 대가람이었으나 전화를 입어 지금은 극락전과 천불전만 남아 있다. 안국사에서 서남쪽 1㎞ 지점에 안렴대(按廉臺)라는 큰 암반이 있다.
이 암반은 절벽 위에 있고 암반 밑으로는 큰 석굴이 있다. 고려 말기 거란의 침공을 받았을 때 3도안렴사(三道按廉使)의 관속들이 이곳에 피난하여 안렴대라는 이름이 붙었다고 한다. 또한, 국제적 규모의 스키장을 포함한 리조트 시설이 있어 국제적 관광지로도 손색이 없다.