본관은 청풍(淸風). 자는 치장(穉章), 호는 중암(重菴). 세거지는 경기도 포천. 아버지는 김성양(金聖養)이고, 어머니는 장수황씨(長水黃氏)이다. 이항로(李恒老)의 문인이다.
5세에 『천자문』을 배우기 시작해 『십구사략(十九史略)』 및 『소학』을 읽고, 13세에 경서를 대략 이해하였다. 24세에 이항로를 찾아가 배우고, 또 홍직필(洪直弼)을 찾아 배우는 등 학업에 매우 전념하였다. 두 선생을 동시에 따른 관계로 학설은 넓고 온건하였다.
1852년(철종 3) 홍직필이 죽은 뒤로는 다시 이항로의 학설을 따라 심즉리(心卽理)의 설에 기울어졌다. 또한 같은 문하의 유중교(柳重敎)와는 대학의 명덕(明德)을 이로 보느냐, 기로 보느냐의 견해 차이로 당시에 큰 논쟁을 일으키기도 하였다.
1874년에 스승의 『화서아언(華西雅言)』을 편집, 간행했으며, 1880년에 선공감가감(繕工監假監)에 제수되었으나 나가지 않았다. 1881년 위정척사(衛正斥邪)를 주장한 일로, 섬에 유배되기도 하였다. 1900년 규장각제학(奎章閣提學)에 추증되었으며, 미원서원(迷源書院) 및 보산서원(寶山書院)에 배향되었다.
저서로는 『중암문집(重菴文集)』 및 별집 『중암고(重菴稿)』·『근사록부주(近思錄附註)』·『학통고(學統考)』·『천군편(天君編)』·『대곡문답(大谷問答)』·『치도사의(治道私議)』·『해상필어(海上筆語)』·『경장문답(更張問答)』·『붕사잡록(鵬舍雜錄)』·『해상록(海上錄)』·『삼강문답(三江問答)』·『구곡문답(龜谷問答)』·『벽산심설연원(壁山心說淵源)』·『척양대의(斥洋大義)』·『남정기문(南征記聞)』·『우촌수담(雨村手談)』·『노강수록(鷺江隨錄)』 등이 있다. 시호는 문의(文懿)이다.