본관은 의령(宜寧). 자는 중소(仲素), 호는 쌍호(雙湖). 할아버지는 의성위(宜城尉) 남치원(南致元)이고, 아버지는 참봉 남기(南淇)이며, 어머니는 군수 이심(李愖)의 딸이다.
어려서부터 체격이 크고 재주가 뛰어났다.
독서를 즐기고 성리학과 경사를 널리 익혔으며, 특히 두보(杜甫)와 소식(蘇軾)의 시를 즐겨 읊었다. 집이 서울 동편 낙산 밑이어서 낙산에 놀러왔던 명나라 경리(經理) 양호(楊鎬)가 뜰의 아름다움에 끌려 남상문의 집을 찾게 되었는데, 우연히 경학을 서로 논하는 과정에서 뛰어난 학식에 감동되어 남상문의 문하가 되었다.
조정에서 고고한 품행을 듣고 금오랑(金吾郎)에 등용하였으며, 여러 벼슬을 거쳐 만년에는 군수(郡守)가 되고 통정대부에 올랐다.