만주 용정(龍井) 출생. 아버지는 윤철(潤喆)로, 고향인 함경북도 부령을 떠나 만주에서 동만은행(東滿銀行)을 비롯한 여러 기업체를 설립, 경영한 갑부이자, 신경(新京:지금의 長春) 조선교민회 회장과 만주국 의회격인 협화회의(協和會議) 대의원이었다.
그런 관계로 그는 어려서 신경에서 성장하였다. 신경중학교를 졸업하고 1942년만주군관학교를 수석으로 졸업(5기)한 뒤 일본 육군사관학교에 편입하였다. 1945년 제59기로 졸업하고 일본군 육군소위로 임관되었다.
8·15광복을 맞아 귀국하였으며 한때 여운형(呂運亨)을 추종하였으나 그의 좌경적인 행위에 실망, 그 해 12월 군사영어학교를 마친 뒤 창군(創軍)에 참가하였다. 1949년 대령이 되었으며 1951년 준장, 소장으로 계속 진급한 뒤, 미국 육군참모학교에 유학하였다.
1953년 중장으로 진급한 뒤 1954년 제2군사령관이 되었다. 1956년 11월, 그 해 1월 30일에 발생했던 김창룡(金昌龍) 육군특무부대장 암살사건의 배후 책임자로 지목되어 구속되었다. 이듬해 4월 사형이 선고되었으나 무기형으로 감형되었으며 4·19혁명 이후 사면, 석방되었다.
그 뒤 1963년 미국 조지워싱턴대학 대학원을 마치고 귀국, 같은 해 민정당(民政黨) 전국구 국회의원이 되었으며, 공화당 정권의 배려로 1967년 스웨덴대사를 시작으로 1971년 스위스·바티칸대사를 역임하였고, 1973년유정회(維政會) 국회의원이 되었다.
1976년 <특별범죄가중처벌법> 위반사건에 휘말려 수뢰혐의로 구속되었다가 석방된 뒤 정계를 떠났으며, 1983년 연세대학교에서 행정학박사 학위를 받았다. 1986년 이후 옛 전우와 관련된 회고록을 집필하다가 1988년 2월 신병으로 미국에서 죽었다. 을지무공훈장·충무무공 훈장·태극무공훈장 등을 받았다.