호는 일민(一民). 전라북도(현, 전북특별자치도) 부안 출생. 동아일보의 설립자 김성수(金性洙)의 장남으로 태어났다.
1930년 중앙고보를 졸업한 후 영국 런던대학교 정경대학(School of Economics & Political Science)에 유학하였고, 1940년 일본 와세다대학 법학부를 졸업하였으며, 1985년에는 일본 와세다대학으로부터 명예법학박사 학위를 받았다.
1949년 동아일보 이사로 언론계에 투신한 이래 45년간 동아일보사의 사주(社主)로서 군사정권과 맞서 언론의 자유를 수호하였으며, 그가 재임하는 동안 ≪동아일보≫의 사세가 신장되었다.
1955년 상무, 1961년 전무이사 겸 발행인을 거쳐 1966년 부사장 겸 발행인으로 재임 중인 시기에 ≪신동아≫ 필화사건이 일어나 발행인의 자리에서 물러났다. 부사장으로 있으면서 1963년 4월 25일에는 동아방송(DBS)을 개국하였고, 일간 ≪소년동아≫(1964.7.)를 창간하였으며, 일제하에 발행되다가 폐간된 월간 ≪신동아≫(1964.9.), ≪여성동아≫(1967.11.)를 복간하였다.
1971년 8월에는 동아일보 사장에 취임하였고, 이어서 대표이사 회장(1977년), 명예회장(1981년)을 역임하였다. 1974년에는 동아일보사 기자와 동아방송 프로듀서들이 노동조합을 결성하고 자유언론실천운동을 전개하는 과정에서 회사측과의 갈등이 심화 대립되는 상태가 벌어졌는데, 이 해 말부터 박정희(朴正熙) 정권은 ≪동아일보≫와 모든 자매지에 대한 광고 탄압을 자행하여 안팎으로 커다란 시련을 겪었다.
그 와중에서 기자와 방송 프로듀서들에 대한 집단해고 사태가 벌어지기도 하였으나 김상만은 어려운 상황을 극복한 공로로 국제신문발행인협회(FIEJ)의 1975년도 ‘자유의 금펜상(Golden Pen of Freedom)’을 받았다.
대외적인 활동으로는 1971년아시아신문재단(PFA) 이사로 선임되어 1976년 4월에는 회장에 피선되었으며, 1979년에는 국제신문협회(IPI) 본부이사로 선임되었다가 1986년 5월에는 명예 종신회원에 추대되는 등 한국 언론계를 대표하는 상징적인 위치에서 언론의 발전에 이바지하여, 국제적으로 한국 언론의 위상을 높였다.
1964년부터 1978년까지는 한영협회(韓英協會) 회장을 맡았고, 1982년에는 고려대학교 재단인 학교법인 고려중앙학원 이사장으로 교육사업에도 힘을 쏟았으며, 재단법인 동아꿈나무재단을 설립하여 이사장을 맡았다.
그 밖에도 재단법인 의양언론재단 이사, 한국정신박약아보호협회 이사, 한양로타리클럽 회장 한국박물관회 회장, 한영수교 1백주년 기념사업위원장을 맡는 등 폭넓은 사회활동을 전개하였다.
그는 한 · 영 두 나라 친선에 이바지한 공로로 영국 명예 코만더(CBE) 훈장(1974)을 받았고, 미국 미주리 주립대학교 ‘1985년도 언론공로상’을, 그 뒤 대한민국 국민훈장 무궁화장(1982),중화민국 문화훈장(1982), 프랑스정부 공로훈장(1989), 독일정부 공로훈장(1993) 등을 받았다. 사후인 1994년 3월에는 금관문화훈장이 추서되었다.
1994년 6월 동아일보에서는 광화문 사옥 1, 2층에 김상만의 호를 따서 ‘일민문화관’을 개관하였으며, 같은 해 7월에는 유족 친지들의 재산출연으로 ‘일민문화재단’을 설립하여 문화 · 학술연구지원 및 국제교류사업을 펼치기로 하였다.