본관은 안동(安東). 자는 광빈(光賓)·효달(孝達), 호는 정산(井山). 아버지는 김성근(金性根)이며, 어머니는 함안조씨(咸安趙氏) 조상기(趙相夔)의 딸이다. 종가(宗家)의 대(代)가 끊기어 참의(參議)인 김양근(金養根)에게 입양(入養)되었으며, 가정에서 학문을 익혔다.
그는 천성적으로 효성이 지극하여 7·8세때부터 부모를 봉양할 줄 알았다. 생모 조씨가 생선을 좋아해, 아무리 추운 겨울이라도 하루도 빠짐없이 그물을 가지고 나가 잡아서 봉양하였다.
그가 18세 때 종가가 참척(慘慽: 아들과 딸이 부모보다 먼저 죽음)을 당해 양근에게 입양되었는데 효성으로 봉양하니, 양근은 행략(行略)을 지어 그의 효성을 민자건(閔子騫)에게 비교하였다.
양부의 상을 당해서는 “대게 급박한 일을 당하면 예를 강구할 겨를이 없어 실례하는 일이 많다.”하고, 『상례비요(喪禮備要)』·『예의유집(禮疑類輯)』·『의례문해(疑禮問解)』 등 예서를 참고해 예절을 행하는 데 힘썼다.
양모 이씨(李氏)의 상을 당해 정성을 다하자, 신이한 일이 일어나자 주위에서 효성의 소치라 하였다.
자사(刺史)·부백(府伯)이 효행과 학문으로 연이어 그를 천거했으나 뜻을 펴지 못하였다. 그는 부모가 돌아가신 후 벼슬살이의 뜻을 버리고 학문에 전력을 기울였다. 『소학』에 기초를 두고 『대학』·『중용』을 깊이 연구했으며, 기삼백(朞三百) 수에 밝았다. 사서문의(四書問義), 주자어류(朱子語類) 등을 탐독했고, 특히 예학(禮學)에 조예가 깊었다.
1852년(철종 3) 효행과 학문으로 사헌부지평(司憲府持平)에 증직되었다. 저서로는 『정산유고(井山遺稿)』 1책이 있다.