본관은 경주(慶州). 자는 성종(聖從). 아버지는 김상준(金商駿)이다.
1874년(고종 11) 증광문과에 병과로 급제하여 1876년 예문관검열이 된 뒤 세자시강원설서(世子侍講院說書)·의정부사인을 거쳐 1887년 이조참의·좌참찬을 지냈다.
1892년 덕원부사를 지낼 때 덕원에서 전 주서(注書) 엄익조(嚴益祚) 등이 주도한 민란이 일어났다. 이 때 김문제는 공전(公錢)을 빙자하여 규정된 액수 이상의 세금을 민간에 강요함으로써 민란을 유발시켰다는 함경감사 서정순(徐正淳)의 장계에 의해 의금부에서 문책을 받고 무주에 유배되었다.
그 뒤 곧 풀려나 1893년에 예방승지(禮房承旨), 1894년에는 경연관(經筵官)을 지냈다.