본관은 안동(安東). 자는 자고(子固), 호는 금헌(琴軒) · 취헌(翠軒) · 쌍계재(雙溪齋) · 관후암(觀後庵) 또는 상락거사(上洛居士). 김구덕(金九德)의 증손으로, 할아버지는 김오문(金五文)이고, 아버지는 김중엄(金仲淹)이며, 어머니는 조대림(趙大臨)의 딸이다.
1464년(세조 10) 녹사로서 춘장 문과에 병과로 주1, 황해 · 평안도의 땅을 개간한 공으로 벼슬에 나가 성균학유가 되었다. 곧 사복직장으로 옮겼으며, 이듬해 호조좌랑으로 『경국대전(經國大典)』 편찬 작업을 위해 이전(吏典)을 수교했고, 또 경차관으로 전라도에 파견되었다.
1466년 발영시 · 등준시에 을과로 급제하고, 이듬해 왕명으로 안효례(安孝禮) · 유희익(兪希益) 등과 함께 영릉(英陵)에 가서 인지의(印地儀)를 시험하였다.
또한, 예문관직제학으로 『세조실록(世祖實錄)』 · 『예종실록(睿宗室錄)』 등을 편찬하는 데 기여가 주2 1470년(성종 1) 완성 단계에 있는 『경국대전(經國大典)』을 다시 수교하였다.
1472년 동부승지를 거쳐, 이듬해 참찬관으로 저화법(楮貨法) 사용을 강조하는 방안을 주장하였다. 이어 공조참판 · 충청도관찰사 · 동지중추부사 등을 역임하였다.
1478년에는 대사헌으로 군비 확충을 위해 전라도 순천에 석보(石堡)를 쌓고 군인을 늘리며, 함경도 회령과 마도(馬島) · 달량(達梁) · 어란(於蘭) 사이에 보를 설치하고 식량 저축 등을 제의해 실천하게 주3
1479년 겸성균관동지사가 되고, 1480년 이조참판이 되었으나 곧 파직되었다. 1484년 행사직이 되고, 이듬해 왕에게 시를 지어 바쳐 칭찬을 받았다.
재주가 있고 학문을 좋아해 글을 잘 지었고, 행서와 초서 등 글씨에 능하였다. 거문고도 잘해 ‘3절(三絶)’이라 불리었고 그림 또한 잘 그렸다. 글씨로는 『해동명적(海東名跡)』 · 『초로관주(草露貫珠)』 등에 모간(模刊)한 것이 있다.