자는 여오(汝五)·백오(佰吾)·기공(旂公), 호는 관헌(觀軒). 생원시에 합격하고 종8품 광흥창봉사(廣興倉奉事)를 지냈다.
박지원(朴趾源)·이덕무(李德懋)·이서구(李書九)·유득공(柳得恭)·박제가(朴齊家) 등과 1768년 무렵 원각사지(圓覺寺址) 부근에 살면서 백탑청연(白塔淸緣)을 맺고 술과 시문서화(詩文書畫) 등을 즐기며 교유하였다.
박지원은 그를 가리켜 “김광수(金光洙)가 감상지학(鑑賞之學)의 개창자라면 서상수는 한 걸음 더 나아가 묘경(妙境)을 깨달은 사람이다.”라고 하면서, 감식에도 능했지만 창작도 겸비한 인물이라고 격찬하였다.
문장에 뛰어나고 음악과 고전 등의 교양도 깊었고, 또 소해(小楷)를 잘 썼으며 소미점(小米點)을 사용한 발묵법(發墨法)에도 능했다 하나 전하는 유작은 없다.