1898년 함경북도에서 태어난 것으로 알려져 있으며, 호는 혜사(慧史)이다. 남편은 건국훈장 애국장을 추서받은 함경북도 학성(鶴城) 출신의 독립운동가 김광희(金光熙, 1892~1968)이다.
1918년 평양 숭의여학교(崇義女學校)를 제9회로 졸업한 뒤, 김광희와 결혼하였다. 결혼 후 남편과 함께 중국 만주와 러시아 연해주 등지에서 독립운동을 전개하며 항일투쟁에 참여하였다. 1919년 3·1운동에 참가하였다가 해주의 감옥에서 옥고를 치렀다고도 전해진다.
만주 망명 후, 1925년 6월에 조직된 길림부인회(吉林婦人會)의 서기를 맡았다. 이어 1930년에는 신한농민당(新韓農民黨)에 참여하였다. 신한농민당은 1929년에 만주에서 조직된 한족총연합회(韓族總聯合會)의 지도당이다. 1930년 1월에 주석 김좌진(金佐鎭)이 공산주의자에 의해 순국하자, 이를 계기로 한족총연합회의 지도당으로 신한농민당이 결성되었다. 본부는 헤이룽장성[黑龍江省] 닝안[寧安]에 두었고, 무정부주의를 내세우며 농촌 자치 조직을 결성하고 교육 활동과 무장 투쟁을 병행하였다. 남편 김광희가 신한농민당의 위원장으로 선출되었고, 김온순은 여성부장을 맡아 활발히 활동하였다.
1963년 대통령표창을 받았고, 1990년 건국훈장 애족장을 추서받았다. 1968년 경기도 파주에서 사망하였으며, 1994년 국립대전현충원에 안장되었다.