18권 9책. 운각활자본(芸閣活字本). 1760년(영조 36) 저자의 아들 필환(必煥)이 편집하고 손자 재희(載禧)가 간행하였다.
권두에 총목(總目)이 있고 권말에 재희의 발문이 있다. 권1에 사(辭) 1수, 시 139수, 권2∼4에 시 535수, 권5∼11에 소차(疏箚) 90편, 계(啓) 2편, 의(議) 6편, 권12에 반교문(頒敎文) 8편, 책문(冊文) 6편, 교서 4편, 전(箋) 1편, 장(狀) 1편, 상량문 7편, 권13에 서(序) 7편, 기 9편, 제발(題跋) 3편, 권14에 신도비명 2편, 묘지명 4편, 묘갈명 6편, 묘표 3편, 권15에 시장(諡狀) 1편, 행장 2편, 권16은 제문 24편, 권17에 남천록(南遷錄) 상·하, 권18에 부록으로 그에 대한 치제문·제문·신도비명·시장 등이 수록되어 있다.
≪옥오재집≫에서 시는 대부분 청나라나 일본으로 떠나는 사신들과의 전별시가 많다. 그 중에 인척관계에 있던 김창집(金昌集)·김창협(金昌協)·김창업(金昌業), 그리고 남구만(南九萬)·김춘택(金春澤) 등의 이름도 나타나고 있다.
<정부원 征婦怨>이라는 작품은 변방에 나간 남편을 기다리는 가련한 어느 여인의 심정을 노래함에 있어 그의 애틋한 표현력이 돋보인다. <장부연행도고양기지경 將赴燕行到高陽寄持卿> 이하 85수는 <성사록 星槎錄>이라고 한다. 1702년(숙종 28) 서장관으로 중국을 여행하면서 견문한 것과 여정의 감회를 읊은 것으로, 종래의 ≪연행록 燕行錄≫들과 좋은 비교가 된다.
권17에 있는 <남천록> 상·하는 그가 1721년(경종 1) 판돈녕부사로서 소론에게 밀려날 때부터의 일과 관직에 재임하였을 때의 단편적 사실들을 모아 놓은 것으로 당쟁사연구의 좋은 자료가 될 뿐 아니라, 당시의 사회상을 이해하는 데도 큰 도움이 된다. 그 밖에도 <사임당화첩발 思任堂畵帖跋>은 한국회화사연구에 기여할만한 내용을 담고 있다.
1979년 그의 9대손 건영(健永)의 발문을 붙인 ≪제월당집부옥오재집 霽月堂集附玉吾齋集≫이 종중에서 영인되어 간행된 바가 있다. 규장각도서·국립중앙도서관과 연세대학교 도서관도서 등에 있다. 2013년에 충남대 한자문화연구소에서 국역본 『옥오재집』을 냈다.