본관은 영동(永同). 자는 문량(文良), 호는 괴애(乖崖) · 식우(拭疣). 아버지는 증 영의정 김훈(金訓)이다.
1441년(세종 23) 식년 문과에 병과로 급제, 정자(正字)가 되었으나 곧 세종의 특명으로 집현전학사가 되었다. 1446년 부사직(副司直)이 되고, 이어서 훈련원주부(訓練院主簿) · 승문원교리(承文院郊理) · 병조정랑을 거쳐 1451년(문종 1) 전농시소윤(典農司少尹), 이듬해 지영천군사(知榮川郡事) 등을 차례로 역임하였다.
1457년(세조 3) 사예(司藝)로서 문과 중시에 2등으로 급제해 첨지중추부사가 되고, 이듬해 동지중추부사에 올라 정조부사(正朝副使)로 명나라에 다녀왔다. 1459년에 한성부윤, 이듬해 판상주목사, 1464년 지중추원사 · 공조판서를 역임하였다.
1466년 발영시(拔英試)와 등준시(登俊試)에 모두 장원, 판중추부사에 오르고 쌀 10석이 하사되었는데, 문무과 장원에게 쌀을 하사하는 것은 이로부터 비롯되었다.
이어서 호조판서를 거쳐 1469년(성종 즉위년) 보국숭록대부(輔國崇祿大夫)에 오르고, 1471년(성종 2) 좌리공신(佐理功臣) 4등에 책록, 영산부원군(永山府院君)에 봉해졌으며, 1474년 영중추부사를 역임하였다.
세종 때 수양대군 · 안평대군이 존경하던 고승 신미(信眉)의 동생으로 불경에 통달하고 제자백가(諸子百家) · 육경(六經)에 해박해 뒤에 세조의 총애를 받았다. 특히, 시문에 뛰어나 명나라 사신으로 왔던 한림 진감(陳鑑)과 「희정부(喜睛賦)」로써 화답한 내용은 명나라에까지 알려졌다. 그리고 성삼문(成三問) · 신숙주(申叔舟) · 이석형(李石亨) 등 당대의 석학들과 교유하며 문명을 다투었다.
『치평요람(治平要覽)』 · 『의방유취(醫方類聚)』 등의 편찬, 『석가보(釋迦譜)』의 증수, 『명황계감(明皇誡鑑)』 · 『금강경(金剛經)』 등의 번역에 참여했으며, 「원각사비명(圓覺寺碑銘)」을 찬하고 사서오경의 구결(口訣)에 참여하였다. 저서로는 『식우집(拭疣集)』이 있다. 시호는 문평(文平)이다.