본관은 함종(咸從). 자는 만종(萬從), 호는 구천(龜川). 어백유(魚伯遊)의 증손으로, 할아버지는 목사 어연(魚淵)이고, 아버지는 집현전직제학 어변갑(魚變甲)이다. 어머니는 직제학 성사제(成思齊)의 딸이다. 좌의정 박은(朴訔)의 사위이다.
1423년(세종 5) 생원시에 합격하고, 1429년 식년 문과에 급제하여, 이듬해 예문관검열에 선임되었다. 이어 대교가 되어 기사관으로서 『태종실록』의 편수에 참여하였다. 문종이 동궁일 때 선발되어 좌정자, 좌우사경(左右司經), 문학(文學)을 거쳐, 1443년 집현전교리(集賢殿校理)가 되어 서연관으로 문명을 날렸다.
1446년 집현전응교(集賢殿應敎), 1449년 직집현전(直集賢殿)을 역임하고, 예법·공법(貢法)·사창법(社倉法)에 관한 의견을 제시했으며, 『고려사』의 체재를 기(紀)·전(傳)·표(表)·지(志)로 할 것을 강력히 주장해 채택되었다.
1449년 집의(執義)가 되어 불교와 음사를 배척하는 소를 올리고, 부중(府中: 중앙 정부 관청이 있는 곳)에 있는 음사를 철거하였다. 1453년(단종 1) 판내자시사(判內資寺事)에 오르고, 전라도를 안찰해 폐정을 바로잡았으며, 이듬해 예조참의에 올랐다.
이 당시 당대의 실권자인 수양대군이 단종의 혼례를 추진하자 상중에 납비(納妃)하는 것은 부당하다며 적극 반대했고, 1455년(세조 1) 세조가 왕권 강화를 꾀하기 위해 의정부의의제(議政府擬議制)를 육조직계제(六曹直啓制)로 변경할 때 하위지(河緯地)·이예장(李禮長) 등과 함께 강력히 반대하는 등 세조의 정책에 비판적인 태도를 보였다.
그러나 세조 즉위 후 원종공신(原從功臣) 2등에 책록되고, 이듬해 이조참판으로 승진, 의금부제조를 겸해 이른바 사육신 사건을 다스리면서 점차 중용되었다.
그 뒤 호조와 형조참판을 역임하고, 1458년 대사헌이 되었다. 이어 중추원부사·한성부윤·형조참판을 거쳐 공조참판이 되고 1463년 이조판서로 승진하였다.
같은 해 가을 지중추원사로 옮기고, 1467년 영중추부사, 1468년(예종 즉위년) 동지중추부사, 1474년(성종 5) 판중추부사로서 봉조하(奉朝賀)가 되었다.
아버지와 장인으로부터 가학(家學)에 영향을 받아 문명을 드날렸다. 성리학 특히 예학(禮學)에 깊어, 세종 말년에는 집현전교리로서 서연관을 겸할 때 세자에게 『예기』를 강하기 위해, 『예기』에 관한 여러 학자들의 중요 학설을 발췌해 주석을 단 『예기일초(禮記日抄)』를 지었다. 또한, 예법을 존중해 풍수지리설을 철저히 배척하였다.
세종조 후반에 『자치통감훈의(資治通鑑訓義)』와 『고려사』의 편수에도 참여하였다. 큰 아들 어세겸(魚世謙)은 좌의정을, 둘째 아들 어세공(魚世恭)은 호조판서를 역임하였다. 시호는 문효(文孝)이다.