본관은 함종(咸從). 자는 자경(子敬), 호는 송서(松西). 목사 어연(魚淵)의 증손으로, 할아버지는 직제학 어변갑(魚變甲)이고, 아버지는 판중추부사 어효첨(魚孝瞻)이다. 어머니는 좌의정 박은(朴訔)의 딸이다. 좌의정을 역임한 어세겸(魚世謙)의 동생이다.
1453년(단종 1)에 생원시와 진사시에 모두 합격했고, 1456년(세조 2) 식년 문과에 정과로 형 어세겸과 함께 급제하였다. 이어 승문원정자(承文院正字)·박사를 거쳐 1459년에 봉상시녹사(奉常寺錄事), 이듬해 한성부참군(漢城府參軍), 1462년 승문원부교리(承文院副校理)가 되었다.
1465년 공조좌랑으로 재직 중 『경국대전』 형전의 교정을 담당했고, 이어 성균사예를 거쳐 1466년 승정원동부승지·우부승지가 되고, 평안도에 파견되어 유이민(流移民)을 추쇄(推刷: 찾아내어 본고장으로 돌려보냄.)하였다. 1467년 이시애(李施愛)의 난이 일어나자 함길도관찰사에 부임하여, 난의 평정에 공을 크게 세우고 적개공신(敵愾功臣) 2등으로 아성군(牙城君)에 봉해졌다.
1469년(예종 1) 사은사로 명나라에 다녀와서 한성부판윤이 되고, 이듬해에는 경기도관찰사를 거쳐 1473년(성종 4) 지중추부사에 올랐다. 1474년 공조·병조판서를 역임하고 1479년 우참찬에 이르렀다. 이어 형조·호조의 판서를 거쳐 1484년 지중추부사가 되었다.
경학과 역학(易學)에 능하고 율학에도 조예가 깊었다. 노사신(盧思愼)·김국광(金國光) 등과 세조가 저술한 『역학계몽요해(易學啓蒙要解)』를 증보해 찬진하였다.
또한 1464년(세조 10) 천문문(天文門)·풍수문(風水門)·율려문(律呂門)·의학문(醫學門)·사학문(史學門)·시학문(詩學門)의 7개 부문으로 나누어 연소한 문신들에게 해당 학문을 연구하도록 했는데, 어세공은 율려문에 배속되어 왕에게 『율려신서(律呂新書)』를 진강해 칭송을 받았다. 시호는 양숙(襄肅)이다.