본관은 안동(安東). 자는 정경(正卿), 호는 소한당(所閑堂). 검교정승 권희(權僖)의 증손으로, 할아버지는 찬성사(贊成事) 권근(權近), 아버지는 우찬성 권제(權踶), 어머니는 판사재감사(判司宰監事) 이준(李儁)의 딸이다.
어려서부터 독서를 좋아해 학문이 넓었으며, 뜻이 크고 기책(奇策)이 많았다. 책상자를 말에 싣고 명산 고적을 찾아다니면서 한명회(韓明澮)와 함께 책을 읽고 글을 지으면서 회포를 나누었다. 한명회와 서로 약속하기를 "남자로 태어나 변방에서 무공을 세우지 못할 바에는 만 권의 책을 읽어 불후의 이름을 남기자."고 했다. 한명회와의 교우는 관포(管鮑)와 같았다.
35세까지 과거에 급제하지 못하고 있다가, 1450년(문종 즉위년)에 향시와 회시(會試)에서 모두 장원으로 급제했고, 전시(殿試)에서 4등이 되었다. 그러나 장원인 김의정(金義精)의 출신이 한미하다는 이유로 장원이 되었다. 그해 사헌부감찰이 되었고, 이듬해 집현전교리로서 수양대군과 함께 『진설(陣設))』을 편찬하는 데 동참했다. 이를 계기로 수양대군과 가까워졌다.
문종이 죽고 어린 단종이 즉위하자, 권력은 김종서(金宗瑞)·황보인(皇甫仁) 등 대신들의 손에 들어가고 안평대군(安平大君)이 대신들과 결탁해 세력을 키워갔다. 이에 불안을 느낀 수양대군이 동지를 규합하고 있을 때, 한명회의 부탁을 받고 수양대군에게 접근해 집권을 모의했다.
그리고 두 사람은 양정(楊汀)·홍달손(洪達孫)·유수(柳洙)·유하(柳河) 등 무사들을 규합해 1453년(단종 1) 계유정난 때 김종서·황보인 등 대신들을 제거하고, 세조 집권의 토대를 마련했다. 그 공으로 정난공신(靖難功臣) 1등에 책록되었고, 이어 승정원동부승지에 특진되었다. 1454년 2월에 우부승지, 8월에 좌부승지로 승진되었다.
이듬해 세조가 즉위하자 6월에 이조참판에 발탁되고, 이어 9월에는 좌익공신(佐翼功臣) 1등에 책록되었다. 1456년(세조 2) 2월에 이조판서가 되었으며, 3월에 역신(逆臣)들이 가졌던 연안·전주·충주·양주의 토지를 하사받았다.
그해 7월에 집현전대제학·지경연춘추관사(知經筵春秋館事)를 겸하고, 길창군(吉昌君)에 봉해졌다.
1457년 2월 난신(亂臣)들의 노비를 하사받았고, 3월에는 김문기(金文起)·장귀남(張貴南)·성승(成勝) 등의 토지를 하사받았다. 8월에는 판중추원사(判中樞院事)로 승진되었다. 1458년 5월 신숙주(申叔舟) 등과 『국조보감(國朝寶鑑)』을 편찬하고, 그해 12월 의정부우찬성에 승진했다.
1459년 좌찬성과 우의정을 거쳐, 1462년 5월 좌의정에 올랐으나, 이듬해 병을 핑계로 관직에서 물러나 부원군으로 진봉되었다. 1463년 9월 『동국통감』 편찬의 감수책임을 맡았다. 1464년 신병으로 감악산신(紺岳山神) 설인귀(薛仁貴)에 치성을 드릴 때, 비바람이 몰아치자 “당신(설인귀)과 나는 세력이 서로 같은데 어찌해 이와 같이 몰아치는가.” 하고 호통했다고 한다.
불교를 좋아하지 않았으나 명신(名神)을 숭배해 사람들의 의아심을 사기도 하였다. 또한, 활을 잘 쏘고 문장에 뛰어났으나, 일찍이 과거에 뜻을 두지 않고 명산고적을 떠돌아다녔다. 이는 아버지가 첩에 혹해 정처를 소박한 데 대한 불만이었다고 한다. 세조를 도와 여러 차례 공을 세운 덕으로 만년에는 높은 지위와 많은 재산을 모았으며, 남산 아래에 화려한 집을 소유하기도 했다.
시문집으로 『소한당집(所閑堂集)』이 있고, 할아버지가 지은 응제시에 주석을 붙인 『응제시주(應製詩註)』는 역사의식을 살필 수 있을 뿐만 아니라, 세조 때 『동국통감』의 편찬방향을 이해하는 데 좋은 자료가 된다. 세조묘(世祖廟)에 배향되었다. 시호는 익평(翼平)이다.