본관은 광산(光山). 자는 경보(敬甫). 할아버지는 김화(金華)이고, 아버지는 사성(司成) 김소(金遡)이며, 어머니는 조신우(趙臣佑)의 딸이다.
1429년(세종 11) 생원시를 거쳐 1432년 식년 문과에 을과로 급제하고 집현전정자(集賢殿正字)에 제수되었다. 그 뒤 저작랑(著作郎)을 거쳐 감찰에 제수되어, 1440년 통신사의 서장관으로 일본에 다녀온 뒤 과거의 시관이 되어 많은 인재를 등용시켰다.
1447년 집현전교리(集賢殿校理)로 승진하고, 문종이 즉위하자 지승문원사(知承文院事)가 되었다. 단종 때에는 집의(執義)·부제학(副提學)을 지내고 세조 즉위에 공을 세워 원종공신(原從功臣) 2등에 책록되고 호조참의에 올랐다.
그 뒤 1460년(세조 6)에는 인순부윤(仁順府尹)으로서 사은정사(謝恩正使)가 되어 명나라에 다녀왔고, 동지중추원사를 거쳐 사성(司成)이 되었다. 이때에 후학들에 대한 교육에 힘써 자주 시험을 보고 제술이 우수한 자에게는 반드시 포상하여 학문을 권장하였다.
그 뒤 강원도관찰사가 되었다가 대사성에 올랐고, 1466년 발영시(拔英試)에 아들 김성원(金性源)과 함께 급제하여 한때 조정과 재야의 선망을 받았다. 이어 1469년 중추부동지사에 올랐으나 신병으로 사임하고, 고향인 충주로 낙향하였다.
사람을 보는 안목이 매우 뛰어나 시관이 되어 뽑은 인재가 거의 뒷날 조정의 현직을 차지하여 빙감(氷鑑)이라는 별명이 있을 정도였다. 성품이 온아하고 청렴하였으며, 학문을 좋아하고 사부(詞賦)에도 능하였다. 시호는 문경(文敬)이다.