본관은 달성(達城). 자는 윤장(潤章). 판서 서성(徐渻)의 증손으로, 할아버지는 달성위(達成尉) 서경주(徐景霌)이고, 아버지는 직장(直長) 서진리(徐晉履)이다. 형 서문환(徐文渙)과 함께 송시열(宋時烈) 문하에 들어가 수학하였다.
1687년(숙종 13) 사마시에 합격하여 진사가 된 뒤 한때 출사(出仕: 벼슬길에 오름)하여 주부(主簿)를 지냈다. 1689년 원주유생 안전(安𤩴) 등이 이이(李珥)와 성혼(成渾)을 문묘에서 축출할 것과 송시열의 처단을 주장하는 상소를 올렸다. 이에 성균관에서 서문택을 소두(疏頭)로 변무(辨誣), 반박하는 소를 올리려 하였지만, 문하인들이 만류하여 끝내 올리지 못하였다. 이 사건을 계기로 서문택은 과거 응시를 포기하였다.
1694년(숙종 20) 갑술환국으로 서인이 재집권하였지만 영의정 남구만 등이 남인 처벌에 소극적이자 서문택이 성균관 집강의 자격으로 소를 올려 비판하였다. 이후 희릉참봉(禧陵參奉), 경기전참봉(慶基殿參奉), 광흥창봉사(廣興倉奉事), 평시서직장(平市署直長), 광흥창주부(廣興倉主簿) 등을 역임하였다. 저서로는 『금강산사군유산기(金剛山四郡遊山記)』가 있다.