1866년(고종 2) 알성장원(謁聖壯元)으로 급제하였고, 이듬해 부수찬에 임명된 데 이어 응교 · 성균관대사성 · 예조참판을 거쳐, 1873년 형조참판에 임명되었다. 척족세력의 중심인물이었던 병조판서 민승호가 1874년 일가족과 함께 폭탄에 의해 죽자, 우의정 민규호(閔奎鎬)를 거쳐 민겸호가 척촉세력의 중심인물이 되었다.
1880년까지 형조 · 병조 · 이조 · 예조의 판서를 비롯해, 한성부좌윤 · 홍문관부제학 · 시강원좌부빈객(侍講院左副賓客) · 약원제조(藥院提調) · 판의금부사(判義禁府事) · 금위대장(禁衛大將) · 지삼군부사(知三軍府事) · 무위도통사(武衛都統使) · 무위소제조(武衛所提調) · 지중추부사 · 어영대장(御營大將) · 판돈녕부사 등 요직을 역임하였다.
특히, 1880년 12월 새로운 정치기구로서 통리기무아문이 설치되자, 김보현(金輔鉉) · 김병덕(金炳德) · 김홍집(金弘集) 등과 함께 통리기무아문 당상에 임명되었고, 뒤이어 군무(軍務) · 변정(邊政) · 기연(譏沿) 당상에 임명되었다. 1881년 4월 일본 육군소위 호리모토[堀本禮造]를 연군교사(練軍敎師)로 초빙해 별기군(別技軍)을 창설하였다.
1882년 6월 9일 무위(武威) · 장어(壯禦) 양영 소속의 군졸들에게 밀린 14개월의 군료(軍料) 중 겨우 1개월분을 지급하면서 그나마도 모래를 섞어주자, 이에 분개한 구훈련도감 포수였던 김춘영(金春永) · 유복만(柳卜萬) · 정의길(鄭義吉) · 강명준(姜命俊) 등이 주동이 되어, 도봉소 고직(庫直)에게 항의하며 충돌한 도봉소사건이 일어났다.
이 소식을 들은 선혜청당상 겸 병조판서였던 민겸호가 김춘영 등을 잡아 포도청으로 넘겨 형살(刑殺)시키려고 하자, 이 문제를 도화로 임오군란이 일어났다. 이 때 난병들이 민겸호의 집을 습격, 파괴하고, 강화부유수 민태호(閔台鎬) 이하 척신의 집을 습격하였다. 또한, 포도청에 구금된 군졸을 구출하고 동별영(東別營) 군기고에서 무기를 탈취해 일본영사관을 공격하였다.
정부에서는 처음에 단순한 군료 지급에서 일어난 폐단으로 생각했으나 진상이 밝혀지자 민겸호는 파직되었다. 이튿날 궁중에 난입한 군졸들에게 중희당(重熙堂) 아래서 김보현과 함께 살해되었다.
시호는 충숙(忠肅)이다.