33세때인 1871년(고종 8) 문과에 급제하고 예문관 검열이 되었다. 1874년 홍문관 교리를 역임하였고, 1882년 정3품으로 승진하여 승정원 동부승지, 호조 참의를 지냈다. 1884년 외무아문 참의를 역임하였으며, 1885년 동래부사 겸 부산항 감리를 지냈다. 1887년 이조 참의, 한성부 소윤, 성균관 대사성을 역임하였다. 1890년 종2품으로 승진하여 형조 참판, 한성부 좌윤을 지냈다. 1892년 외무아문 협판을 역임하였고, 1893년에는 이조 참판을 지냈다.
1894년에 도승지가 되었고, 정2품으로 승진하여 형조 · 공조 판서를 역임하였다. 전라도에서 동학농민군이 봉기하자 전라감사 김문현의 후임으로 감사에 임명되었다. 그해 9월 농민군이 본격적으로 재봉기할 채비를 갖추자 책임을 다하지 못하였음을 시인하고 자진 사퇴하였다. 일시 휴직하였다가 1897년 다시 임용되어 중추원 의관을 지냈다. 1899년 홍문관 학사 · 궁내부 특진관이 되었다. 그 뒤 시종원경 · 태의원경을 거쳐 1906년 홍문관 태학사를 역임하였다. 1905년 1월 일제의 경찰 사무 침탈과 친일파가 수립한 제도를 비판하는 최익현의 상소를 적극 옹호하였다. 동년 3월 일제의 국권 침탈을 비판하는 상소를 올렸다가 일본 헌병에 체포, 구금되기도 하였으나, 이후에는 일제에 순응해 갔다.
1907년 70살이 넘은 정2품 이상의 문신들을 예우하기 위해 설치한 기구인 기사에 들어갔다. 종1품으로 승진하여 규장각 대제학을 지냈고 문학에 대한 식견이 탁월하였다. 1909년 11월 한국과 일본 황제의 사진 봉안 및 송덕비 창건을 위한 ‘송성건의소’에 발기인으로 참여하였다. 1910년 6월 합병추진단체인 ‘대한평화협회’ 찬성장에 선임되었다. 1910년 일제의 강제 병합조약 체결로 국권이 넘어간 뒤 남작의 작위를 받았고, 1911년 1월에는 한일합병에 관한 공로로 2만 5천원의 은사공채를 받았다. 1912년 12월 일본 정부로부터 한국병합기념장을 받고 종4위에 서위되었다.
김학진의 이상과 같은 활동은 2004년 10월 29일 공포된 대통령령 제18571호 「일제강점하 반민족행위 진상규명에 관한 특별법」에 적용되어 친일반민족행위자로 규정되었다. 친일반민족행위진상규명위원회의 『친일반민족행위진상규명 보고서』IV-4: 친일반민족행위자 결정이유서에 관련 행적이 상세하게 채록되었다. 위원회의 주요 업무는 친일반민족행위 조사대상자 선정, 친일반민족행위의 조사, 친일반민족행위 관련 국내외 자료수집 및 분석, 조사대상자의 친일반민족행위 결정, 진상규명보고서 작성 및 발간 등이었다. 위원회는 2009년 11월 『친일반민족행위진상규명 보고서』를 발간하여 1,006명의 친일반민족행위자를 공식적으로 인정한 뒤 해체되었다.