1915년 9월 5일 충청남도 논산에서 태어났다. 본관은 경주(慶州), 호는 인석(仁石)이다.
아내 김동분(金東粉)과의 사이에서 아들 김상용, 김상래, 김상호, 김상렬 등 4남 4녀를 두었다. 1940년 일본 메이지대학[明治大學] 법학과에 입학하여, 이듬해인 1941년에 중퇴하였다.
1946년『충북신보』총무국장 겸 영업국장을 거쳐, 1948년 청주 시의회 부의장을 지냈다. 신익희·조병옥·김성수 등으로 연결되는 민주당 구파에서 활동하면서, 민주당 중앙위원 겸 충북도당 부위원장과 청주시당 위원장을 역임하였다. 1958년 제4대 민의원으로 선출된 후, 1960년 5대 국회의원, 1967년 7대 국회의원, 1973년 9대 국회의원, 1979년 10대 국회의원, 1985년 12대 국회의원에 선출된 6선의 정계 거목이었다.
1960년 신·구파 갈등과정에서 구파가 신민당을 창당하자 이에 가담했다. 신민당에서는 유진산(柳珍山)계의 중심역할을 수행하며, 원내부총무를 지냈다. 1965년 제3공화국 최초의 통합야당인 민중당에서는 조직국장과 당무회의 부의장을 역임했다. 1967년 새롭게 수립된 통합야당 신민당에서는 정무위원, 당기위원장, 충북도 제1지구당 위원장, 원내총무, 중앙상임위원회 의장 등의 요직을 거쳤다. 1973년 9대 국회에서 신민당이 김영삼의 강경파와 이철승의 온건파로 대립할 때, 김영삼의 편에 서서 정치적 동지관계를 형성했다. 이 인연으로 신민당 총재권한대행, 민주산악회 회장 등을 맡았으며, 1979년 신민당 전당대회에서 부총재로 선정되기도 했다.
1986년 12월 24일, 민주화 7개항이 실현되면 국민은 물론 야당까지도 내각제가 장기집권음모라 생각하지 않고 수용할 수 있을 것이라는 기자회견을 하였다. 전두환 정권이 주장하는 내각제 개헌을 수용할 수 있다는 이른바 ‘이민우 구상’을 발표한 것이다. 그러나 이에 반발한 김영삼과 김대중계 의원들이 집단 탈당하여 신한민주당이 와해되자 정계 은퇴를 선언하였다. 이후 민족통일국민운동 중앙위원, 대한민국 헌정회 원로자문회의 위원, 자유민주민족회의 고문, 대한민국 건국50주년 기념사업준비위원회 명예회장 등으로 활동하였다.
대한민국의 보수야당인 민주당의 분열과 통합의 과정을 이해하는 데 있어서 중요한 역할을 한 인물 중 한명이다. ‘어진 돌’이라는 뜻을 지닌 인석(仁石)이라는 호에 걸맞게 중후한 인품과 서민적 풍모로 존경받았다.