본관은 안동(安東). 자는 문거(文擧), 호는 뇌서(磊棲). 문경 출생. 아버지는 돈녕부도정 김석근(金襫根)이며, 어머니는 문희전씨(聞喜錢氏)로 전도석(錢道碩)의 딸이다.
18세 때 서울에 올라와 김희순(金羲淳)과 김수근(金洙根) 두 문하에서 수학하였다.
후일 국권을 흔들었던 김병학(金炳學)·김병국(金炳國)과 교유하였다. 1858년(철종 9) 궁중의 경사로 6품 벼슬에 등용되어 1860년에 사헌부감찰과 장악원주부를 거쳐, 1862년에 다스리기 어려운 곳으로 소문난 연풍(延豊)의 현감으로 임명되어 큰 치적을 남기며 숙폐(宿弊: 오랜 동안 쌓인 폐해)를 일소하였다.
새로 부임한 감사와의 알력으로 사직하고 돌아오자 현에서 동비(銅碑)를 세워 덕을 기렸다. 1867년(고종 4) 문경현(聞慶縣)의 숙폐를 다스리다 토호로 몰려 문화(文化)로 귀양갔다. 이때 귀양지에서 「태평오책(太平五策)」을 올렸는데, 고종으로부터 크게 칭찬을 들었고 귀양도 곧 풀렸다.
1882년 돈녕부도정에 임명되었다. 항상 지(知)·인(仁)·용(勇) 중에서 용이 학문의 관건임을 들어 자신이나 후진을 채찍질하였고, 삼정(三政)에 대한 해박한 식견은 고금을 통틀어 막히는 데가 없었으며, 늘 개혁에 대한 열정을 지니고 있었다. 저서로는 『뇌서집(磊棲集)』이 있다.