1924년 5월 26일 경상남도 양산 출생으로, 본관은 달성(達城)이다. 1946년 육군사관학교를 1기로 졸업한 후, 한국전쟁 당시 1951년 헌병 부사령관을 지냈으며 1954년 보병학교 교장, 1955년 육군 제31사단장, 1957년 육군 제25사단장, 1959년 군사참모장을 지냈다.
1960년 제6관구사령관으로 5·16군사쿠데타에 참여했으며, 1961년 육군본부 정보참모부장, 1962년 육본 인사참모부장, 1963년 제3군단장, 1965년 합참본부장, 1966년 육군 제1군사령관, 1969년 육군참모차장을 지냈다. 이어 1969년 9월 제19대 육군참모총장이 되었으며 이 시기에 전두환, 노태우 전 대통령이 서종철 육군참모총장의 수석부관으로 활동하였다.
1972년 육군 대장으로 예편한 후 대통령안보담당 특별보좌관을 지냈으며, 1973년 12월에서 1977년 12월까지 제20대 국방부 장관을 지냈다. 장관으로 재임 중이던 1975년 4월 8일 인혁당 재건위 사건 때에는 군법회의에서 8명이 사형판결을 받자, 바로 사형집행이 이루어져 논란이 되기도 했다. 한편 1977년 지미카터 미국 대통령의 주한미2사단 철수 선언을 계기로 이듬해 헤럴드 브라운 미 국방장관과 합의해 한미연합사령부 창설을 주도하기도 했다.
1981년 제14~15대 한국반공연맹 이사장, 총력안보중앙협의회 회장을 지냈으며, 1981년 12월부터 8년 동안 한국야구위원회(KBO) 제1∼2대 총재로 활동했다. 1990년 삼미 상임고문을 지냈으며, 2010년 숙환으로 사망했다.