본관은 해남(海南)이다. 자는 효언(孝彦)이고, 호는 공재(恭齋) · 종애(鍾崖)이다. 해남 윤씨 어초은공파(漁樵隱公派) 19대 종손이며, 고산(孤山) 윤선도(尹善道)의 증손자이다. 본래 윤이후(尹爾厚)의 넷째 아들이었는데, 종손 윤이석(尹爾錫)에게 후사가 없어 종가에 양자로 입적됐다. 15세에 이수광(李睟光)의 외손녀 전주 이씨(全州 李氏)와 혼인하여 2남 1녀를 두었다. 전주 이씨가 세상을 떠나고 이형징(李衡徵)의 딸 완산 이씨(完山 李氏)와 재혼하였다. 이들과 사이에 모두 10남 3녀의 자녀를 두었다.
윤두서의 생부 윤이후가 허목(許穆)을 적극 옹호하고 주1을 선택한 후, 허목 계열의 대표적 가문이 되었다. 그리고 이미 허목과 긴밀한 인적 네트워크를 구성하고 있던 여주 이씨(驪州 李氏), 연안 이씨(延安 李氏)와 긴밀한 유대 관계를 맺고 활동했다. 그 결과 윤두서는 옥동(玉洞) 이서(李漵), 식산(息山) 이만부(李萬敷) 등과 함께 근기 남인 서화가 그룹을 형성하였다. 이들은 불운한 정치적 상황을 직시하고 관직에 대한 욕심을 버리고 포의의 삶을 선택했다. 교유의 폭이 넓어 이사량(李師亮), 민용현(閔龍顯)과 같은 서인 인사들과도 교분을 나누었다. 특히 이하곤(李夏坤), 이서 · 이잠(李潛) 형제와는 매우 가깝게 지내면서 서화를 함께 감상하고 평을 주고받는 등의 활동을 벌였다. 이잠은 윤두서에게 성현들의 화상을 그린 『십이성현화상첩(十二聖賢畵像帖)』을 제작하도록 했고, 장인 이형상(李衡祥)[^2]은 「오성도(五聖圖)」를 의뢰하기도 했다.
윤두서는 1696년에 이영창사건(李榮昌事件)에 휘말려 고초를 겪었는데, 이를 기점으로 학술과 예술에만 전념하게 되었다. 1700년부터 본격적으로 그림을 그리기 시작하여 「세마도(洗馬圖)」, 「석양수조도(夕陽垂釣圖)」 등의 풍속화를 그렸다. 1710년에 세상을 떠난 6촌 아우 심득경(沈得經)의 가족을 위해 초상을 그려 뛰어난 묘사력을 드러내기도 했으며, 「동국여지지도(東國輿地圖)」와 「일본여도(日本輿圖)」를 제작할 만큼 지도에 대한 관심도 가지고 있었다. 1713년에 한양 생활을 청산하고 해남으로 돌아갔는데, 이 이사는 그가 구축했던 서울 지식인들과의 인맥, 학문적 · 예술적 네트워크를 상실하는 일이었다. 해남으로 낙향한 윤두서는 선세(先世)의 유묵들을 수집하고 정리하여 모사하거나 첩으로 만들기 위해 노력했다. 「서총대친림연회도(瑞蔥臺親臨宴會圖)」가 그 대표적인 사례인데, 1560년에 명종이 신하들과 창덕궁 후원에 행차하여 열었던 연회를 그린 것이다. 그림이 낡은 바람에 윤두서가 이모(移模)하고, 그의 아들 윤덕희(尹德熙)가 표제를 썼다.
윤두서는 기호 남인들의 근기 실학에 관심을 가지는 한편, 중국에서 간행된 새로운 전적들도 빠르게 입수하고 소장하였다. 그에 따라 학술의 범위가 넓고 깊으며 개방적이었다. 그는 직접 중국에 가 본 적은 없지만, 방대한 양의 중국 출판물을 수입하고 탐독하여 시대보다 앞선 학문 경향을 보였다. 현재 국립중앙도서관에 있는 『해남윤씨군서목록(海南尹氏群書目錄)』에 등재된 2,635여 종의 서명을 보면, 그가 자기 시대까지 중국에서 출판된 서적들을 소요되는 비용에 무관하게 수집했음을 알 수 있다. 이와 같은 장서를 바탕으로 삼아, 그는 사상의 연원을 찾아 시대를 거슬러 올라가고, 제자백가의 학술을 두루 섭렵하였다. 그 결과 고대 전적을 탐구하는 훈고적 경향에 군사 · 지리 · 천문과 역법 · 수학 · 기술 등의 실용적 학문에도 통달하기에 이르렀다. 이 많은 분야를 터득하는 방법은 오로지 책을 읽으며 스스로 이치를 얻는 것이었으나, 실제와 견주어 실증을 추구하기도 했다. 한편, 서학에 관한 정보도 그가 입수한 중국 출판물로 접하고 수용하는 모습을 보였다. 윤두서는 17세기 근기 남인의 학술을 더욱 발전시켰으며, 고증적이며 진보적 · 실용적인 학술을 추구하였다고 할 수 있다.
서법에서도 17세기 이후 근기 남인들이 추종했던 허목의 글씨와 그 지향을 따랐다. 그의 주변에는 이서, 윤순(尹淳)과 같이 조선시대 서예사에서 중요한 역할을 한 서예가들이 있었으며, 상고시대의 순박함을 지향하였다. 회화의 경우, 전통적인 화법을 중시하여 관념산수화를 제작하면서도, 한편으로는 실경산수화도 남겼다.
저서로 『기졸(記拙)』과 『화단(畵斷)』, 주요 작품으로 「석양수조도」, 「세마도」, 「채애도(採艾圖)」, 「오성도」, 「자화상(自畵像)」, 「심득경초상」 등이 있다.
1774년(영조 50)에 가선대부(嘉善大夫) 호조참판에 추증되었다.