본관은 해주(海州). 자는 사상(士常), 호는 모암(慕菴)·영모당(永慕堂). 영의정 오윤겸(吳允謙)의 현손이며, 오달천(吳達天)의 증손이다. 할아버지는 오도융(吳道隆)이고, 아버지는 오수량(吳遂良)이며, 어머니는 영의정 여성제(呂聖濟)의 딸이다.
1705년(숙종 31) 식년문과에 을과로 급제하여 1709년 교리(校理)를 거쳐 설서(說書)·사서(司書)등을 역임하였다. 이듬해 부수찬(副修撰), 1713년에 겸필선(兼弼善), 1715년 부응교(副應敎)·이조좌랑을 지냈다.
1716년 승지에 이어 경상도와 강원도·평안도의 관찰사 등을 거쳐 사직으로 있다가 1724년(영조 즉위년)에 소론이 실각하자 사직하였다.
1727년 정미환국으로 소론이 등용될 때 지중추부사로 기용되어 이조와 병조의 판서를 역임하였다. 이듬해 이인좌(李麟佐)의 난이 일어나자 판의금부사로 4도도순무사를 겸하여, 난을 토평하여 분무공신(奮武功臣) 1등이 되고 해은부원군(海恩府院君)에 봉해졌다.
이어 우찬성에 승진되었으나, 자신이 이인좌와 같은 소론이라는 것을 자책하고 상소하여 사퇴를 청하였다. 그러나 허락되지 않고 우의정으로 발탁되었다. 효성이 지극하여 효자정문이 세워졌다. 시호는 충효(忠孝)이다.