세례명은 알렉시오, 자는 덕소(德紹). 본관은 창원. 승문원 부정자를 역임한 석범(錫範)의 유복자로 서울 아현에서 태어났다. 1790년(정조 14) 16세의 나이로 사마시에 합격하여 진사가 되었으며, 정약용의 맏형인 약현(若鉉)의 딸 명련(命連)과 혼인하였다.
1791년 그의 처고모부인 이승훈(李承薰)에게 교리서를 얻어 보고 천주교를 믿기 시작했다. 이후 과거를 포기한 채, 정약종(丁若鍾) · 홍낙민(洪樂敏) 등과 밤낮으로 교리를 연구했으며, 입교 직후에 발생한 신해박해의 와중에서도 신앙을 굳게 지켰다.
1795년 주문모(周文謨)신부를 만난 뒤 성사를 받고 신부를 도와 교회 일에 적극 참여하였다. 많은 사람을 입교시켰을 뿐만 아니라, 교우 아이들에게 글을 가르쳤고, 신심 서적을 필사하는 일을 하였으며, 평신도 단체인 명도회(明道會)의 주요 회원으로 활동했다. 그리고 자신의 집을 명도회의 하부 조직인 6회(六會)의 한 장소로 제공하기도 했다.
1801년 신유박해가 일어나자 충청북도 제천의 배론(舟論)으로 피신하여 은거하면서 신유박해로 타격을 입은 조선교회의 참상과 교회의 재건 책을 북경주교에게 호소하는 장문의 편지를 썼는데, 이것이 바로 『황사영백서』이다.
이 편지를 황심(黃沁)과 옥천희(玉千禧)에게 시켜 1801년 10월에 떠나는 북경 동지사(冬至使) 일행 편에 끼어 보내려고 하였으나 음력 9월 15일에 체포된 황심의 자백으로 음력 9월 29일 체포되었다. 서울로 압송된 뒤 대역 부도죄로 음력 11월 5일 서소문 밖에서 능지처참되었고, 어머니·작은아버지·아내·아들은 모두 귀양 가게 되었다.