본관은 장흥(長興). 자는 백온(伯溫), 호는 간암(艮庵). 서울 종남산(終南山) 주자동(鑄字洞)에서 출생. 아버지는 군수(郡守) 위동전(魏東峑)이며, 어머니는 나씨(羅氏)이다.
위세옥은 천품이 영민하여 여러 가지의 문체(文體)에도 능하였으며, 국사·의약·산수 등에도 깊은 조예가 있었다. 위세옥이 이재(李縡)·민응수(閔應洙)·민우수(閔遇洙)·신경(申璟) 등과 매우 친하게 지내니, 사람들은 그들에게 벼슬을 청탁하라 권하였지만 끝내 거절하였고, 1721년(경종 1) 사화(士禍)가 일어나자 고향으로 내려가니, 최도문(崔道文)이 천관산가(天冠山歌)를 지어 위세옥을 칭송하였다.
위세옥이 요망한 자에게 속임을 당하여 형틀을 쓰고 관가로 들어가는데 마침 윤심형(尹心衡)이 그것을 보고 깜짝놀라 뜰 아래로 뛰어내려가 풀어주고 종일토록 술잔을 기울이며 담소하였다. 말년에는 위선(爲先: 조상을 위함) 사업에 심혈을 기울였으며, 종가(宗家)의 대청에 강회석(講會席)을 마련하고 후진 양성에 전념하였다. 저서로는 『간암문집(艮庵文集)』 1책이 있다.