본관은 안동(安東). 자는 일원(一原), 초호는 초계(苕谿), 뒤에 여연(如淵)으로 바꾸었다. 아버지는 공조판서 겸 판의금부사(工曹判書兼判義禁府事) 김한순(金漢淳)이며, 어머니는 평산신씨로 신각(申慤)의 딸이다.
1827년 왕세자청정경과정시(王世子聽政慶科庭試)에 급제, 그 해에 시강원설서(侍講院說書)에 임명되었고, 병조정랑과 실록기주관(實錄記注官)을 거쳐, 1836년(헌종 2) 병조참의에 승진하였으며, 강원감사와 대사간을 역임한 뒤, 1852년(철종 2) 경연관(經筵官)이 되었다.
그 뒤 한성부판윤·경기감사·예조판서 등을 역임하였고, 1863년 형조판서, 1870년 이조판서를 거쳐 좌찬성·우찬성을 역임하였다. 한편, 사화(詞華)에도 능하여 영물 등의 시 280여수를 남겼으며, 또한 경연관으로 있던 1853년에 임금 앞에서 『중용』을 강의하기 위하여 만들었던 「중용강의」가 그의 문집 속에 수록되어 있다.
또한, 1862년에 쓴 「삼정구폐책(三政救弊策)」에서 당시 전부(田賦)·군적(軍籍)·환곡(還穀) 등의 폐단을 논하고, 그 시정책으로 전부에 있어서는 곡식과 돈을 혼합징수하지 말고 지역에 따라 한 가지로 통일시킬 것과, 군적에 있어서는 일 없이 한가로이 지내는 장정들의 병역기피를 방지하고 병역면제를 핑계로 돈을 함부로 징수하지 말 것과, 환곡에 있어서는 과거의 사창제도(社倉制度)를 부활시킬 것 등을 주장하였다. 저서로는 『여연유고(如淵遺稿)』 3책이 있다.