본관은 기계(杞溪). 서울 출신. 생원 유회준(兪會濬)의 아들이다. 『서유견문록(西遊見聞錄)』의 저자이며 개화 선각자로 유명한 유길준(兪吉濬)이 큰삼촌이다. 한말에는 법률가로, 일제강점기에는 정치가로 활약한 유성준(兪星濬)이 작은삼촌이다.
두 삼촌의 영향을 받으면서 성장하여 전문학교를 마친 후에는 법률 역사교수를 역임하였다. 특히 한국 최초의 법률서인 『법학통론(法學通論)』을 낸 유성준의 영향을 많이 받았다. 유옥겸은 교과서 편찬에 주력하여 많은 교과서를 저술, 편찬하였다. 역사교과서 외에도 교수법(敎授法)에 교육학에 관한 저술도 많다.
18세에 『중등외국지리(中等外國地理)』(1900)를 편찬하기 시작해 26세부터는 본격적으로 교과서 편찬에 주력하였다. 유옥겸이 편찬한 역사교과서로는 『중등동양사(中等東洋史)』(1908), 『동양사교과서(東洋史敎科書)』(1908), 『대조서양사연표(對照西洋史年表)』(1909), 『서양사교과서(西洋史敎科書)』(1910) 등이 있다.
특히 『서양사교과서』는 서양사에 대한 책으로는 우리나라에서 최초의 것으로 알려져 있다. 이 책은 사립 고등학교 교원용 교과서로 교열자는 유성준이다.
당시 번역서가 서양의 인명·지명을 중국식으로 표기했던 반면, 『서양사교과서』는 대영백과사전에 의거해 영국 발음으로 표기하였다. 이는 교과서의 서술양식과 체제를 근대화시켜 교육의 효과를 배가시키고자 한 노력의 일환이었다.
근대적 교육의 효과에 대해 고심하여 일련의 교육학과 교수법 관련 저서들을 남겼다. 『간명교육학(簡明敎育學)』(1908), 『소학교수법(小學敎授法)』(1908), 『서양교수법(西洋敎授法)』(1909) 등이 있다. 이 밖에는 『정선법학통론(精選法學通論)』(1911)이 있다.