본관은 달성(達城). 자는 사의(士毅), 호는 직재(直齋). 서문제(徐文濟)의 증손으로, 할아버지는 서종대(徐宗大)이고, 아버지는 현령 서명훈(徐命勳)이며, 어머니는 이세무(李世茂)의 딸이다. 이재(李縡)·김원행(金元行)의 문인이다.
1751년(영조 27) 별시 문과에 병과로 급제하였으나 척신(戚臣) 홍계희(洪啓禧) 등 요인들이 교유를 청해온 것을 거절하여 관계의 진출이 늦어졌다. 1756년 윤시동(尹蓍東)이 강화유수 조영국(趙榮國)의 불법을 고발하다 사적인 감정을 앞세운 탄핵이라 비판하며 시골로 쫓겨난 사건이 있었다. 이듬해 서형수는 사간원정언(司諫院正言)으로서 윤시동(尹蓍東)의 방면하도록 청하였으나 당쟁을 일삼는다 하여 남해현(南海縣)으로 방귀(放歸)되었다가 흑산도로 유배되었다.
그 뒤 홍문관교리 이심원(李心源), 도승지 한수창(韓壽昌), 정언 신익빈(申益彬), 대사간 이인배(李仁培) 등이 언로의 개방과 확장을 청하면서 서형수의 서용을 주장하였으나, 도리어 이심원·이인배 등은 영조의 노여움을 사서 체직을 당하였다.
1767년 국가 경사로 인한 사면조치로 유배에서 풀려나왔으나 그 해 서용되지 못하고 이듬해 사서(司書)로 서용되었다. 1771년 교리로서 척신의 자제가 대거 대과(大科)에 급제하는 폐단의 시정을 촉구하였으며, 이듬해에는 승지로서 국가 대훈자(大勳者)의 특전이 너무 지나침에 대한 시정을 촉구하였다.
그 해 벽파(僻派)를 탄핵하였다가 면직당하고 서인(庶人)으로 강등되어 쫓겨났다. 1773년 승지로 재기용된 뒤 대사간·강원도관찰사를 거쳐 1776년(정조 즉위년) 공조참의에 이르러 홍인한(洪麟漢)·이득신(李得臣) 일파의 전횡을 규치할 것을 계속 주장하였고, 그 뒤 대사간·좌부승지 등을 역임하였다.