언제 어디서 태어났는지는 알 수 없다. 1929년 12월에 조선혁명당 당군(黨軍) 조선혁명군이 7개 부대로 개편되었다. 1931년 9월에 일본군이 만주사변을 일으키자, 조선혁명군은 친일분자를 처단하면서 독자적으로 국내 진공 작전을 전개하였고, 중국과 연합전선을 구축하고는 가장 강력하게 항일 무장 투쟁을 펴나갔다.
김광옥은 1930년 경에 조선혁명군 제3중대에 소속되어 중국 길림성 통화현 일대에서 활동하였다. 1933년 2월에는 중국 국민당(國民黨) 계열의 항일 부대로 요령민중자위군(遼寧民衆自衛軍)이 설립되었는데, 선전대대장(宣傳大隊長)을 맡아 조선혁명군과 공동 작전을 수행하였다. 당시 조선혁명군 총사령 양세봉(梁世奉, 1896∼1934)은 요령민중자위군에 편제된 특무대의 사령으로 활동하기도 하였다.
1933년 7월에 김광옥은 조선혁명군 유격대장(遊擊隊長)과 보위대장(保衛隊長)을 거쳐 총사령 부관(副官)으로 활동하였다. 하지만 1934년 9월에 양세봉이 피살되고, 일제의 토벌 정책과 초토화 작전이 전개되자 조선혁명군의 활동은 크게 위축되었다. 이러한 상황 속에서 김광옥은 1935년 5월 31일에 환인현 부근에서 집안현 경찰대(警察隊)와 교전 중에 전사하였다.
2011년 건국훈장 애국장이 추서되었다.