본관은 해평(海平)이다. 충혜왕 때 좌정승에까지 오른 윤석(尹碩)의 증손으로, 지문하성사(知門下省事) 윤지표(尹之彪)의 손자이고, 대호군 윤보(尹寶)의 아들이다.
공민왕 말년에 왕의 총애를 받아 근시(近侍)하였는데, 1373년(공민왕 22) 공민왕이 한안(韓安)·홍륜(洪倫) 등으로 하여금 모든 비빈(妃嬪)들을 욕보이게 하면서 윤가관에게는 익비(益妃)를 범하도록 하였으나 끝내 거절하였다.
이 때문에 왕의 미움을 받아 서인(庶人)으로 폐하여졌으나 곧 풀려났다. 우왕 때 밀직부사에 올랐으며, 1383년(우왕 9)에는 경상도부원수가 되어 왜구를 방어하다가 안동·예안 등지에서 패하고 부상을 입었다.
이해 12월에는 경상도도순문사로서 합포(合浦: 지금의 경상남도 마산)에 진수(鎭守)하였고, 다음 해에 함양에서 진주목사 박자안(朴子安)과 함께 왜구와 싸워 크게 이겼다.
이때 왜구가 축산도(丑山島)를 거점으로 자주 침구하므로 수군[船卒]을 두어 이를 방비하도록 하여 이후 왜구의 침략이 약하여지게 되었다.
또한, 못쓰게 된 무기를 녹여 농기구를 만들게 하고, 둔전(屯田)을 개척하여 군량을 넉넉히 하였다. 무략(武略)이 있고 성품이 청렴하고 검소하여 염리(廉吏)의 표본이 되기도 하였다. 관직은 판밀직사사에까지 이르렀다.