본관은 하양(河陽). 허윤창(許允昌)의 증손으로, 할아버지는 판도판서(版圖判書) 허귀룡(許貴龍)이고, 아버지는 좌의정 허조(許稠)이며, 어머니는 대사헌 박경(朴經)의 딸이다. 그의 가문은 대대로 충효(忠孝)로 명성이 높았다.
1426년(세종 8) 식년문과에 동진사(同進士)로 급제, 1428년 병조좌랑, 1431년 지평을 역임하였다. 그 뒤 1436년 문과중시에 을과로 급제, 1438년 좌부승지가 되었다. 이어 1442년 예조참판 등 여러 관직을 거쳐, 1448년 예조판서에 올랐다.
1451년(문종 1) 우참찬에 임명되어 김종서(金宗瑞)·정인지(鄭麟趾) 등과 함께 『고려사』의 산삭(刪削)과 윤색(潤色)에 참여하였다. 그리고 이듬해에는 예조판서를 겸무하였다.
그 해 문종의 환후(患候)를 보살폈으며, 문종이 승하하자 영의정 황보인(皇甫仁), 좌의정 김종서와 함께 선왕의 고명(顧命)을 받들어 어린 임금 단종을 보좌하였다.
1452년 9월 수양대군(首陽大君)이 고명사은사(誥命謝恩使)로 명나라에 가려고 하자, 임금의 나이가 어리고 대군의 역할이 막중하다는 이유를 들어 만류하였다. 1453년(단종 1) 수양대군이 이른바 계유정난을 일으켜 황보인·김종서 등 대신들을 역모죄로 몰아 죽였지만, 그는 전일 수양대군에게 진언했던 일로 죽음을 면하였다.
그러나 수양대군의 처사에 불만을 품었던 그는 황보 인·김종서 등의 무죄를 적극 주장하였다. 그리고 훗날 좌찬성에 제수되었으나 이를 끝까지 고사하다 결국 거제도에 안치된 뒤 교살되었다.
1791년(정조 15) 단종을 위해 충성을 바친 신하들에게 어정배식록(御定配食錄)을 편정(編定)할 때 정단배식(正壇配食) 32인에 함께 향사되었다. 그리고 괴산의 화암서원(花巖書院)에 제향되었다. 시호는 정간(貞簡)이다.