본관은 선성(宣城). 자는 명옥(鳴玉), 호는 어야옹(於野翁). 경상북도 영주 출신. 김륵(金玏)의 후손이며, 어머니는 권씨이다.
1902년 혜민원주사(惠民院主事)가 되었으나, 1910년 나라가 일본에게 강점되자 관직을 버리고 죽기로 결심하고 단식하였으나, 어머니도 단식하며 간곡히 만류하여 뜻을 이루지 못하였다.
그뒤부터 하늘을 볼 수 없는 죄인을 자처하여 황관(黃冠)을 쓰고 두문불출하였다 한다. 1913년 서간도로 망명하고자 하였으나 실패하고 아들 김도현(金道鉉)만 망명하였다. 1915년 불효불충을 한탄하는 자만사(自輓詞) 한수를 짓고 단식하였다. 군수 장윤규(張潤圭)와 일본경찰은 의사를 대동하고 적극 저지하였으나, 결국 순국하였다.
1995년 건국훈장 애족장이 추서되었다.