1869년 서울에서 출생했다. 1897년 미국으로 유학, 1903년 콜로우드대학 졸업, 1904년 주미공사관 서기생, 1905년 참서관, 주미한국대리공사가 되었으나 을사늑약으로 공사관이 폐쇄, 1906년 2월 귀국했다. 1906년 7월 전북 태인군수, 인천부윤에 임명되어 인천항재판소 판사와 관립 인천일어학교 교장을 겸임했다.
한일합병 이후 1910년 10월 조선총독부 전라북도 참여관에 임명, 경기도 참여관, 충청북도지사 등 1926년 8월까지 조선총독부 고위 관료를 지냈다. 재임 중에 전라북도 지방토지조사위원회 위원으로서 일제의 토지조사사업에 협력했고, ‘내선결혼’ 장려, 조선총독부 시정15주년 축하 논설을 발표하는 등 식민통치에 적극 협력했다. 일본정부로부터 1918년 12월 훈3등, 1928년 7월 훈2등 서보장을 받았고, 1921년 7월귀족의 예우를 받는 종4위를 거쳐 1926년 9월 종3위에까지 올랐다. 1926년 8월부터 1945년 8월 일제가 패망할 때까지 약 19년 동안 조선총독의 자문기관인 조선총독부 중추원 참의 및 고문을 지냈다. 중추원 참의로 재임 중이던 1942년 6월 조선총독 자문에서 조선인에 대한 징병제 실시를 찬양했다.
중일전쟁 이후 1939년 4월 조선총독부의 전쟁 협력단체인 국민정신총동원조선연맹의 평의원, 1940년 10월 이후 이를 계승한 국민총력조선연맹 평의원으로 활동했다. 또한 1926년 이래 1933년까지 내선융화단체인 동민회(同民會)의 평의원으로 활동했고, 1939년부터 1941년까지 국민협회(國民協會) 고문을 역임, 중의원서거법을 조선에서도 시행하자는 청원운동에 참여했다. 1945년 7월 일제가 '본토결전'에 대비하여 조직한 준군사단체인 국민의용대(國民義勇隊)의 고문에 선임되었다. 이외에도 1940년 내선일체의 실현이라며 일제의 창씨제도를 적극 찬성하였고, 1941년 9월에는 전시동원 지원단체인 조선임전보국단(朝鮮臨戰報國團) 발기인으로 참여했다.
해방 이후 미군정청 하지중장에게 자신은 “친일파도 반역자도 아니니 등용해 달라”는 진정서를 제출했으나 뜻을 이루지 못하고, 이승만 · 김구 · 김규식 등에게도 진정서를 제출했다가 외면당하기도 했다. 1949년 10월 23일 사망했다.
김윤정의 이상과 같은 활동은 「일제강점하 반민족행위 진상규명에 관한 특별법」 제2조 제9·17·19호에 해당하는 친일반민족행위로 규정되어 『친일반민족행위진상규명 보고서』 Ⅳ-3: 친일반민족행위자 결정이유서(pp.668∼695)에 관련 행적이 상세하게 채록되었다.