연개소문(淵蓋蘇文)의 셋째 아들이다. 18세에 대형(大兄)이 되어 국정을 주도하는 데 참여하였고, 23세에는 위두대형(位頭大兄)이 되었다. 연개소문이 죽고 맏아들 남생(男生)이 대막리지(大莫離支)로서 국정을 총괄하게 되자, 남산은 작은형 남건(男建)과 더불어 큰형 남생이 지방을 순시하는 틈을 타, 정변을 일으켜 대권을 장악하였다.
그 뒤 국내성(國內城)을 중심으로 한 남생의 반란과, 그와 연결된 당나라의 침공으로 안팎의 위기에 처하게 되자, 고구려군의 저항을 주도해나갔다. 그러나 평양성이 함락될 위기에 직면하게 되자 보장왕과 함께 성문을 열고 나가 당나라에 항복하였다.
그 뒤 당나라는 그를 사재소경(司宰小卿)에 봉하였다. 668년(보장왕 27) 이후 당나라의 수도에 끌려가 거주하게 되었고, 작위는 요양군개국공(遼陽郡開國公)에 이르렀으나 종내 우울한 가운데 살아가다가 702년에 죽었다. 뤠양[洛陽]에 묻혔고, 그 묘지명이 전해지고 있다.