세례명은 요사팟[若撒法]이다. 그는 병자호란 당시 척화파(斥化派)의 상징적 인물이었던 청음(淸陰) 김상헌(金尙憲, 1570~1652)의 후손으로 김이구(金履九)의 아들이다. 서울의 노론 가문 출신으로 경기도 여주의 종갓집에 입양되었으나, 1801년(순조 1)에 신유박해로 순교하자 파양되었다.
영특한 재질로 9세 때 『논어』를 배우면서 ‘귀신을 공경하되 멀리하라’는 말이 무슨 뜻이냐고 질문하여 훈장을 당혹케 하였다. 14세 때 집안에 있던 『기인십편(畸人十篇)』, 『교요서론(敎要序論)』등의 천주교 서적을 읽고 『천당지옥론(天堂地獄論)』을 저술하였으며, 유학은 물론이고 불교, 도교, 병가의 서적까지 섭렵하였다. 18세 때 양부가 죽자, 『주자가례(朱子家禮)』의 상례(喪禮)가 맞지 않는다고 거절하여 사대부들의 비난을 받았다. 그러나 자신의 견해를 피력한 글을 지어 반박했는데 당시 남인의 학자인 이가환(李家煥)이 감탄할 정도였다.
김건순은 충직하고 신의가 있었으며 독실하고 공손하여 그 덕망이 경기도 여주 일대에 널리 드러났다. 본래 넉넉한 집안이었으나, 자신은 검소한 생활을 하면서 가난한 사람에게 자선을 많이 베풀어 서울에 올라갈 때마다 수많은 사람들이 그를 만나보기를 청하러 몰려들었다.
한때 소북의 강이천(姜彛天) 등이 제창한 해도진인설(海島眞人說)에 휘말려 반역죄로 사형을 당할 위기에 처했으나, 정조가 그를 무죄로 석방했다. 양근의 남인 학자였던 권철신(權哲身)을 찾아가 천주교를 배운 김건순은 1797년(정조 21) 음력 6월 주문모(周文謨) 신부를 만나 천주교에 입교하였다. 이때 그는 생사를 같이 하기로 결심한 대여섯 사람과 함께 바다로 나가 중국 남쪽 강절(江浙) 지방을 거쳐 북경에 가서 서양 사람을 직접 만나보고 이용후생(利用厚生)의 방도를 학습하여 본국에 전하였다. 한편으로는 군사지식과 군함 제조술을 배워 병자호란의 치욕을 갚겠다는 포부를 드러냈으나, 주문모 신부가 이를 질책하였다.
그는 영세 후에 신앙심이 더욱 커졌고, 절친한 이중배[마르티노], 원경도[요한], 이희영[루가] 등에게 천주교의 신앙을 전교하였다. 이후 이들의 가족까지도 신자가 됨으로써 경기도 여주 지역의 천주교세 확장에 크게 기여하였다. 그러나 그는 1801년 6월 1일(음력 4월 20일) 서소문 밖에서 참수형을 당했다.
관가에 체포되기 직전까지 명도회(明道會: 1795년(정조 19) 세워진 천주교 평신도들의 교리 연구 및 전교조직)의 회장 정약종(丁若鍾, 아우구스티노)과 함께 『성교전서(聖敎全書)』라는 책자를 저술하여 천주교의 모든 교리를 체계적으로 종합 서술하고자 하였으나, 초고가 미처 완성되기도 전에 체포됨으로써 미완에 그쳤다. 처형을 당할 때에는 ‘세상의 벼슬이나 명예는 헛된 것이나 오직 천주교의 진리만은 지극히 참되고 진실한 것이므로 천주교를 위해 죽음도 사양하지 않는다.’며 군중들에게 천주교 신앙을 권면하였다.