본관은 청풍(淸風). 자는 숙경(叔經), 호는 월천(月川). 김직방(金直方)의 증손으로, 할아버지는 김광무(金光茂)이고, 아버지는 증 좌찬성 김효례(金孝禮)이며, 어머니는 오은(吳隱)의 딸이다.
1429년(세종 11) 생원이 되고, 1432년 식년 문과에 을과로 급제하여 의영고부사가 되었으며, 이어 감찰과 병조좌랑을 지내고, 1436년 진잠현감(鎭岑縣監)이 되었다. 1440년 우헌납이 되고 그 뒤 이조정랑·장령·사예를 거쳐, 1451년(문종 1) 지승문원사가 되고 이듬해 판종부시사에 올랐다. 우사간대부를 거쳐 1454년(단종 2)에 황주목사로 나갔으며, 첨지중추원사를 지내고 1458년(세조 4) 전주부윤이 되었다. 1460년 대사헌을 지내고 황해도와 전라도의 관찰사로 나갔으며 예조와 형조의 참판, 한성부좌윤을 거쳐 1469년(예종 1) 동지중추부사가 되었다.
성종 즉위 후 지중추부사가 되고 한성부판윤 등 여러 내외직을 두루 지내고 호조판서에 올라, 1471년 좌리공신(佐理功臣) 4등으로 월천군(月川君)에 봉해졌다. 성품이 청백하여 항상 청빈하였고, 평생 동안 공도(公道)로써 관직생활을 지냈다. 저서로는 『월천집(月川集)』이 있다. 시호는 문평(文平)이다.