1753년(영조 29) 43세의 나이로 알성(謁聖) 문과의 을과(乙科)로 급제하였다. 승문원 정자(正字), 병조정랑(兵曹正郎), 사헌부 지평(持平) 등을 역임하였다. 1759년(영조 35) 승지로 발탁되고, 5개월도 안 되어 도승지가 되어 경(卿)의 반열에 올랐다. 1763년 예조판서가 되고, 1768년(영조 44) 동지부사가 되어 청에 다녀왔다.
정조대에도 예조판서⋅호조판서⋅병조판서 등을 지냈다. 70세 때 기로소(耆老所)에 들어갔으며, 1790년 판의금부사(判義禁府事)가 되었다. 또한 구사안(具思顔)은 중종의 부마이고, 그의 아우 구사맹은 인조의 외할아버지로서 이들 형제는 인조의 외종형이자 김장생(金長生)의 문인인 구인후(具仁垕)의 친 · 양조부이기도 하다. 이 때문에 정조대에 구윤옥은 구인후의 봉사손으로 능은군(綾恩君) 구윤명을 습봉하고, 조카 구상(具庠)은 정조로부터 ‘누대의 훈척(勳戚)’이라는 말을 들었다.
1759년에 『어제속자성편(御製續自省編)』의 편찬에 참여하였는데, 이 책의 권말에 영조가 짓고 구윤옥이 서사한 발문과 영조의 소지(小識)가 있다. 홍양호(洪良浩)의 『이계집(耳谿集)』에 구윤옥의 묘표가 전한다. 형 구윤명은 『전율통보(典律通補)』 · 『육상궁소령원식례(毓祥宮昭寧園式例)』 · 『증수무원록대전(增修無寃錄大全)』 등을 찬술하고, 아버지 구택규는 『증수무원록』을 훈석(訓釋)하는 등 집안사람들이 법전과 예전 편찬에 깊이 관여하였다.