본관은 교하(交河). 자는 자반(子胖), 호는 보진재(葆眞齋)·천은당(天隱堂). 노균(盧鈞)의 증손으로, 할아버지는 좌의정 노한(盧閈)이고, 아버지는 동지돈녕부사(同知敦寧府事) 노물재(盧物載)이며, 어머니는 심온(沈溫)의 딸이다.
1451년(문종 1) 생원시, 1453년(단종 1) 식년 문과에 병과로 급제하여 곧 집현전박사(集賢殿博士)에 선임되었다. 이어 집현전부수찬·성균관직강·예문관응교 등을 역임하여 국가 사명(國家詞命)을 관장하였다.
1459년(세조 5)에는 세자우문학(世子右文學), 이듬해는 사헌부지평이 되었다. 1462년에 세조의 총애로 세자좌문학에서 5자급(資級)을 뛰어넘어 승정원동부승지에 제수되었다.
그 뒤 우부승지를 거쳐 1463년에는 도승지에 초배(超拜)되어 국가의 기무(機務)를 관장하였다. 같은 해 홍문관직제학을 겸하여 세조가 주석(註釋)한 『역학계몽(易學啓蒙)』의 주석서 『요해(要解)』를 증보하여 찬진(撰進)하고 불경을 한글로 번역하기도 하였다.
1465년에는 호조판서가 되어 최항(崔恒)과 함께 『경국대전(經國大典)』 편찬을 총괄하였다. 같은 해에 호조판서로서 충청도 가관찰사(假觀察使)를 겸하여 지방 행정의 부정을 낱낱이 조사했고, 이듬해에는 숭정대부(崇政大夫)에 올랐다. 또한, 1466년에 실시된 발영(拔英)·등준(登俊) 양시에 응시하여 각각 1등과 2등으로 합격하는 영예를 얻었다.
1467년 말에는 건주위 정벌(建州衛征伐)의 공으로 군공 2등(軍功二等)을 받았다. 1468년에는 남이(南怡)·강순(康純) 등의 역모를 다스린 공으로 익대공신(翊戴功臣) 3등에 올라 선성군(宣城君)에 봉해졌다.
1469년에 의정부 우참찬·좌참찬을 거쳐 우찬성에 올랐다. 우찬성에 재임 중 접반사(接伴使)로서 명나라의 사신 강호(姜浩)와 예교(禮交)를 맺어 외교적 성공을 거두기도 하였다.
1470년(성종 1) 의정부좌찬성에 올라 이조판서를 겸했으며, 1471년에는 성종 즉위를 보좌한 공으로 좌리공신(佐理功臣) 2등에 책록되었다. 1476년에 영돈녕부사(領敦寧府事)가 되어 사서(史書)와 시문을 찬진하고 성균관에서의 강의 등으로 성종의 문치를 도와, 1482년에는 선성부원군(宣城府院君)으로 진봉(進封)되었다.
1485년에는 영중추부사로서 평안도와 경기도의 재해를 극복하기 위한 진휼사 겸 호조판서(賑恤使兼戶曹判書)가 되어 임무를 성공적으로 수행하였다. 1487년 말에는 명나라 효종(孝宗)의 즉위를 맞아 등극사(登極使)로서 명나라에 다녀왔다. 이듬해 우의정으로서 영안도도체찰사(永安道都體察使)가 되어 국가의 사민정책(徙民政策)을 담당하였다.
1492년에 좌의정, 1495년에는 영의정에 올랐다. 그러나 문과 독권관(文科讀卷官)이었을 때 처족을 합격시켰다는 이유로 탄핵을 받아 영의정을 사직하였다. 1498년(연산군 4) 무오사화 때 윤필상(尹弼商)·유자광(柳子光) 등이 김일손(金馹孫) 등 사림파를 제거하는 논의를 주동하자, 세조의 총신이었다는 처지 때문에 미온적으로나마 동조하였다.
그러나 유자광 등이 옥사를 확대하려는 것을 적극 견제하여 사림파의 피해를 줄이는 데 힘을 기울였다. 사옥(史獄)이 진행되는 도중인 같은 해 9월에 병사하였다.
유년 시절에 홍응(洪應)과 함께 윤형(尹炯)에게 수학하였다. 학문에 조예가 깊어 문과 급제 직후에 이미 집현전학사가 되었다. 집현전학사 때에는 장서각에 나가 독서에 전념하여 ‘진박사(眞博士)’라는 별칭이 붙기도 하였다.
세조·성종의 총애를 받아 문치를 도와서, 호조판서에 재직할 때는 『경국대전(經國大典)』의 편찬을 주관하고, 『경국대전(經國大典)』 호전(戶典)은 직접 편찬을 담당하였다. 또한 성종 때는 여러 사서(史書)의 편찬을 담당하기도 하였다.
또 1476년 12월에는 서거정(徐居正)·이파(李坡)와 함께 『삼국사절요(三國史節要)』를 찬진하고, 1481년에는 서거정과 함께 『동국통감(東國通鑑)』의 수찬에도 참여하였다. 그리고 강희맹(姜希孟)·서거정·성임(成任)·양성지(梁誠之)와 함께 『동국여지승람(東國輿地勝覽)』의 편찬을 총재했으며, 이를 위해 1476년부터 동국문사시문(東國文士詩文)을 수집하였다.
한편 1482년에는 이극돈(李克墩)과 함께 『통감강목(通鑑綱目)』을 신증(新增)하고, 이듬해에는 『연주시격(聯珠詩格)』과 『황산곡시집(黃山谷詩集)』을 서거정·어세겸(魚世謙) 등과 같이 한글로 번역하는 등의 학문적 업적을 남겼다. 시호는 문광(文匡)이다.