1949년 9월 1일에 신봉동 상주향교에서 상주고등공민학교로 개교하였으며 1950년 5월 15일에 제1회 졸업생을 배출하였다. 1951년 11월 25일에 남산중학교로 설립인가를 받아 1951년 12월 18일에 개교식을 거행하였으며, 1952년 3월 25일에 남산중학교 제1회 졸업생을 배출하였다.
교훈은 1965년 3월 1일에 ‘자주, 단결, 노력’으로, 1969년 3월 2일에 ‘자주 독립, 협동 단결, 성실 노력’으로, 1977년 3월 2일에 ‘바르고 참되게’로, 1984년 3월 2일에 ‘참된 사람, 봉사하는 사람’으로 변경되었다.
1983년 3월 23일신봉동 203번지에서 낙양동 388번지로 교사를 이전하였으며 1997년 2월 13일 체육관을 기공하고, 1998년 6월 24일 테니스장을 개장했다. 1999년 11월 3∼6일에는 개교 50주년 기념식, 체육관 기공식, 낙양제를 개최하였다.
교훈은 ‘참된 사람, 봉사하는 사람’이다. 교목은 히말라야시다이고, 교화는 모란이다. 곧고 푸르고 씩씩하게 자라는 학생상(히말라야시다)과 밝은 꿈을 지닌 학생상(모란)을 지향하고 있다.
교기로 씨름을 장려하여 튼튼한 체력을 가진 학생상을 함께 추구하고 있다. 학교 소재지인 낙양동의 유적으로는 단소(壇所)가 있는데, 조선 선조 때 정곤수(鄭昆壽)가 건립하여 제사를 지냈지만 일제강점기 때 폐지되었다. 1998년 이래 매년 학생소식지 『남산교육』을 발간하고 있다.
2010년 3월 2일 현재 21학급으로 편성되어있으며, 재학생은 706명이고 교원은 총 37명으로 구성되어 있다. 2010년 2월 11일 현재 제59회 졸업식을 하였고, 총 15,664명의 졸업생을 배출하였다.