명종 때 과거에 급제하였으나 성격이 소탈하고 거리낌이 없어 세상에 용납되지 못하였다. 친우 이인로(李仁老)가 세번이나 추천하였으나 끝내 벼슬에 오르지 못하였다.
그는 당시 18세였던 이규보(李奎報)에게 53세의 나이로 망년지교(忘年之交)를 허락하였다. 이른바 해좌칠현(海左七賢)의 한 사람으로 이인로 등과 시주(詩酒)로 즐겼다.
만년에는 외할아버지의 출생지인 동경(東京)으로 제고사(祭告使)의 축사(祝史)가 되어 역마를 타고 가 그곳에 살면서 서울로 돌아오지 않았고, 마침내 가난에 시달리다 죽고 말았다.
『주역』을 암송하고 육경에 박통할 정도로 유학 경전에 높은 식견을 가지고 있었다. 시문은 한유(韓愈)와 두보(杜甫)의 체(體)를 체득하였다. 이규보는 그의 시를 ‘주매경준(遒邁勁俊)’이라 평하였고, 최자(崔滋)는 ‘풍섬혼후(豊贍渾厚)’라고 평한 바 있다. 또한 글씨에도 뛰어났다.
경기체가 「한림별곡(翰林別曲)」 제3장 “오생유생(吳生劉生) 양선생(兩先生)의 오생유생(吳生劉生) 양선생(兩先生)의 위 주필(走筆)○경(景)긔엇더ᄒᆞ니잇고(오생 유생 두 선생의 오생 유생 두선생의 아, 붓 놀리는 모습 그 어떠합니까?)”에서 오생은 바로 오세재를 가리킨다.
오세재는 명종시대 문신수난기를 당하여 현실에 타협 내지는 조화하지 못하고 문학과 시주에 탐닉함으로써 자신의 고민을 해소하려 한 것이다. 그러한 그에게 이규보는 나이를 떠난 진정한 벗이었다. 이규보 역시 그의 재주를 아끼고 삶을 애석히 여겨 「오선생덕전애사(吳先生德全哀詞)」를 지어 추모하였다.
「오선생덕전애사(吳先生德全哀詞)」에서 이규보는 오세재를 복양선생(濮陽先生)이라 부르고, 친구 아닌 문하생의 입장에서, 도연명(陶淵明)이 죽자 그 문인들이 정절선생(靖節先生)이라 사시(私諡)한 예를 따라, 현정선생(玄靜先生)이라 사사로이 시호하여 영전에 바쳤다. 현재 전하는 작품으로는 『동문선』에 오언율시 2수, 칠언율시 1수가 있다.