본관은 의령(宜寧). 경상북도 상주 출생. 자는 종백(宗伯), 호는 손재(損齋). 아버지는 남필용(南必容)이다. 9세에 고아가 되어 외삼촌인 김진동(金鎭東)으로부터 글을 배웠다. 어려서부터 재주가 있어 한번 들으면 모두 외웠다고 한다.
성품이 소탈하고 대범하여 사물에 집착함이 없었으나, 어느날 갑자기 탄식하면서 사람이 무엇이라도 능하게 하지 못하는 것은 습관이 그것을 방해하기 때문이라고 말한 뒤에 습관을 버려야 한다는 「거습잠(祛習箴)」을 지어 평생의 지표로 삼았다고 한다. 이상정(李象靖)을 찾아가 학문하는 방법을 배운 뒤 경서(經書) 등 여러 서적들을 탐독, 거경궁리(居敬窮理)에 힘썼다.
벼슬에 뜻이 없었고, 오직 초야에 은둔하여 문경의 선유동(仙遊洞)에 옥하정(玉霞亭)을 지어놓고 후진 교육에 힘썼다. 여러 번 도백(道伯)과 암행어사의 천거를 받았지만 끝내 벼슬에 나가지 않았다. 저서로는 『손재문집(損齋文集)』 15권이 있다.