김준(金俊)으로 불리기도 하였다. 1909년 경에 평안남도에서 태어났고 미국 캔사스대학교 농업학과를 졸업하였다. 1945년 2월에는 중국 중앙대학 농과대학 교수로 재직하였다.
1935년 7월에 중국 남경에서는 항일독립운동 단체로 한국민족혁명당(韓國民族革命黨)이 결성되었는데, 김원봉(金元鳳, 1898∼1958)이 이끈 의열단(義烈團)을 중심으로 김두봉(金枓奉, 1889∼1960)의 한국독립당(이칭: 조선독립당)을 비롯하여 조선혁명당, 신한독립당(만주 한국독립당, 한국혁명당 통합당), 한국광복동지회 등의 단체도 참여하였다. 이후 한국민족혁명당이 와해되어 1937년 1월에는 조선민족혁명당(朝鮮民族革命黨)으로 명칭을 변경하였다. 1937년 12월에 김윤서는 첩자의 혐의를 받고 중국 관헌에게 붙잡혔다가 조선민족혁명당의 도움으로 석방되었는데, 이를 계기로 긴밀한 관계를 맺었다.
그 뒤 조선민족혁명당은 김규식(金奎植, 1881∼1950)을 주석으로 추대하고는, 1944년 4월에 열린 제36차 임시 의정원 회의에서 명실상부하게 대한민국임시정부 안의 제1야당으로 인정되었다. 하지만 임시정부 안에서 좌우의 파벌 대립이 심하게 벌어지면서 내부 문제가 나타났다. 이러한 상황 속에서 1945년 2월에 중국 중경에서 신한민주당이 창당되었다. 신한민주당은 홍진(洪震), 유동열(柳東說), 유진동(劉振東), 안원생(安原生) 등이 민족주의의 보수적인 색채를 띤 한국독립당의 지도층에 대항하여 독립운동 단체로 결성한 것인데, 김윤서를 포함한 조선민족혁명당원 일부도 뜻을 같이하였다.
신한민주당은 주석단제(主席團制)를 채택하여, 홍진, 유동열, 김붕준 등이 주석으로 추대되었다. 이 때 안원생, 유진동 등이 각각 비서부장, 재무부장을 맡았고, 김윤서도 중앙상무위원으로 재정부장을 맡아 활동하였다. 이들은 실제 공작에 더욱 노력할 것과 독립진영의 각 정파 간에 투쟁을 중지할 것을 강력히 주장하였다. 하지만 대한민국임시정부는 신한민주당 창당에 심한 불만을 나타내면서 반당분자로 여기기도 하였다.
2023년 건국훈장 애족장을 추서하였다. 가족의 증언에 따르면, 6·25전쟁 때 납북되어 이후의 행적을 알 수 없다고 한다.