본관은 동복(同福). 자는 영석(永錫), 호는 춘헌(春軒). 이조참판 오백영(吳百齡)의 증손으로, 할아버지는 관찰사 오단(吳端)이고, 아버지는 호조판서 오정일(吳挺一)이다. 어머니는 사인(舍人) 정호선(丁好善)의 딸이다. 예조판서 오정위(吳挺緯)에게 입양되었다.
1666년(현종 7) 사마시에 합격하고, 1676년(숙종 2) 정시문과에 장원하여 성균관전적(成均館典籍)이 되고, 이어 지평(持平)을 지냈다. 1679년 문과중시에 병과로 급제하여 수찬(修撰)·부수찬·부교리(副校理)·헌납(獻納)·교리 등을 역임하고, 다음해 이조좌랑을 거쳐 1689년 승지에 올랐다.
이듬해 대사헌에 이르렀으나 부당하다 하여 다시 승지에 머물렀다. 지조가 깨끗하고, 겸허 담백하였다. 1694년 당화(黨禍)를 입어 용천·강서 등지로 유배되니, 전후 6여년간에 이른다. 유배 중에도 경학(經學)에 힘썼으며, 문장에 뛰어났다.