대학 졸업 후 김윤환은 1955년부터 『 영남일보』, 『 대구일보』 등의 기자로 활동하였고, 1960년 3월 조선일보사에 입사해 주미 · 주일 특파원, 정치부장, 편집부국장, 편집국장 대리 등을 지냈다.
1973년 제9대 국회의원 선거에서 고향인 경상북도 선산에서 무소속으로 출마하였다가 낙선하였고, 1979년 제10대 총선에서 유신정우회(維新政友會) 의원에 당선되면서 본격적인 정치 활동을 시작하였다. 10대 국회에서는 농림수산위원회 소속으로 아시아의원연맹(APU) 총회 한국 대표단으로 참여하기도 하였다.
1979년 10 · 26사태로 유신정권이 무너지고 신군부가 집권하자 경북고등학교 동창인 노태우와의 인연으로 민주정의당 창당에 참여하였다. 1981년 민주정의당 소속으로 제11대 국회 전국구 의원에 당선되었고, 1985년 2월 문화공보부 차관에 임명된 후 대통령비서실 정무제1수석비서관과 대통령비서실장 등을 지냈다.
1985년 12대 총선에 불출마하였던 김윤환은 1988년 제13대 총선에서 경상북도 군위 · 선산에서 입후보하여 당선되었다. 이후 민주정의당 원내총무와 정무제1장관을 지냈고, 1989년에는 야당 측과 협상을 벌여 지방자치제 연내 실시, 공무원 노조 결성 허용과 같은 제도개혁안에 합의하였다.
1990년 3당(민주정의당 · 통일민주당 · 신민주공화당 합당 후 민주자유당 원내총무와 사무총장을 지내면서 민정계 의원들을 상대로 ‘ 김영삼 대세론’을 설파하였다. 1992년 3월 제14대 국회의원에 당선된 후 그해 말 실시된 대통령선거에서 민정계 의원들을 이끌고 김영삼 후보의 당선에 크게 기여하였다. 김영삼 정부가 출범한 뒤에는 사무총장과 정무제1장관을 맡으며 민주계에 대응하는 민정계 수장 노릇을 하였다. 또한, 1995년 8월 민주자유당 대표위원에 취임하였고, 1995년 12월 민주자유당이 신한국당으로 개칭한 후 1996년 5월까지 초대 대표위원을 지냈다.
1996년 15대 총선에서 경상북도 구미(을)에서 신한국당 후보로 출마해 당선된 김윤환은 통일외무위원회 위원, 신한국당 상임고문, 한일의원연맹 회장 등으로 활동하였다. 1997년 신한국당 대통령 후보 경선에서 ‘비영남 후보론’을 내세우며 이회창(李會昌) 전 국무총리를 지원해 당선시켰다. 대선 패배 후 신한국당과 민주당이 합당해 한나라당이 창당되자 상임고문직을 맡았고, 1998년 4월부터는 부총재로 활동하였다.
그러나 2000년 제16대 총선에서 공천을 받지 못하자 한나라당을 탈당하고 이기택 · 이수성 · 박찬종 · 조순 등과 함께 민주국민당을 창당하였다. 그리고 구미시 선거구에서 입후보하였으나, 32%의 득표로 낙선하였다. 이후 김윤환은 2002년 대통령선거에서 ‘영남후보론’을 주장하며 이회창 후보와 대립하였다. 하지만 이 무렵 신장암 선고를 받았고, 2003년 12월 15일 사망하였다.