1921년 아버지가 세운 중원학교(重遠學校)를 거쳐 선천의 신성중학교(信聖中學校)와 숭실전문학교, 그리고 평양의 장로회신학교를 졸업하였다.
숭실전문학교 재학중 배민수(裵敏洙) · 문학린(文學麟) 등과 비밀결사인 청구회(靑丘會)를 조직하여 항일운동을 전개하였다. 1929년 11월 광주학생운동 때에는 평양시내 학생들의 궐기를 주도하였다는 혐의로 검거되어 8개월간 옥고를 치렀다.
1942년 곽산의 장로교회 목사를 거쳐, 1943년 정주의 중앙교회에서 시무하다가 평동노회장(平東老會長)을 맡았으며, 1944년 일제의 탄압으로 교회가 폐쇄되자 구성에 은거하였다. 1945년 10월 정주에 평동중학교를 설립, 교장에 취임하였고, 그 해 11월에 월남하여 조선신궁(朝鮮神宮) 자리인 남산 기슭에 기독교박물관을 만드는 데 전력하였다.
1946년 한 때 기독공보사(基督公報社)의 주필을 맡았으나 교회사학자로서의 사명감에 따라, 1948년 4월 신 · 구교의 공동협력으로 개관된 기독교박물관 및 매산고고관(梅山考古館)의 관장을 맡았다.
그는 숭실전문학교 시절부터 교회사나 고고학에 열정을 갖고 방대한 양의 사료와 유물을 수집하였다. 그런데 해방 후 3.8선이 굳어지자 소장품들을 남한으로 옮기는 일에 힘을 기울였다.
특히, 가족들의 헌신적인 노력이 두드러져 부인 한필례(韓弼禮)는 남북을 세 차례나 내왕하면서 사료를 반입하다가, 해주 앞바다에서 차녀 김경숙(金景淑)과 함께 피격되어 사망하였다. 6 · 25 전쟁 때에는 이 소장품들을 일본 국제기독교대학에 일시 보관시켰고, 일부는 보다 안전하게 보관하기 위하여 미국에 이송하기도 하였다. 1954년 2월에 6 · 25 전쟁으로 소실된 박물관을 혼자의 힘으로 개관하여, 다시 기독교 관계사료들을 정리, 보존하였다.
그는 역사학계에도 크게 공헌하여 국보 · 명승고적 · 천연기념물보존위원과 애국가작사자조사위원 · 경주국립공원위원 · 한국사학회이사 · 안중근의사선양회이사 · 서울특별시문화재보호위원 · 한국독립운동사료조사위원 등을 지냈고, 고고학 분야에서는 서울 역삼동의 주거지 발굴, 서울 암사동의 주거지 발굴 등을 지휘하였다. 1967년 한국고고학협회 부회장을 맡아 많은 활동을 하였다.
1954년에 숭실대학의 교수로 취임하여, 기독교박물관을 숭실대학으로 이전, 개설하면서 그 소장품 3,660점을 기증하였고, 관장직을 맡았다.
저서로는 『한국기독교전래사』 · 『한국기독교해방10년사』(1956) · 『고고학개론』(1958) · 『간추린 한국교회사』 · 『세계선교사』 · 『장로교여전도회소사』 · 『한국기독교사연구』 등이 있고, 「한국기독교 초기간행물에 관하여」 · 「 사학징의(邪學懲義)에 관하여」 등 50여 편의 논문을 남겼다.