1897년 경기도 용인에서 출생했다. 어려서 한학을 배웠으며, 1912년 사립 봉양학교를 졸업했다. 1914년 세례를 받았다. 1916년 아현보통학교 학감을 맡았다. 1917년 경성중앙기독교청년회 소년부 간사로 선임되었다. 1919년 1월 원세성(元世性)의 추천으로 연동교회 조사로 부임했다. 대동단사건에 연루되어 서대문감옥에서 옥고를 치르고 1921년 5월 출옥했다. 출옥 후 윤치호·이상재·박승봉·유성준 등과 함께 기독교 민간문서 사업기구인 기독교창문사 설립에 노력했다.
1922년 3월 일본 고베신학교에 유학해 1926년 3월에 졸업하고, 귀국하여 같은 해 4월 연동교회 전도사로 부임했다. 1개월간 평양장로회신학교에서 수학하고 1927년 5월에 교회를 사임한 뒤, 묘동교회 전도사로 가서 6월에 경기노회에서 목사 안수를 받고 묘동교회 위임목사가 되었으며, 피어선성경신학원에 강사로 출강했다. 1929년 조선예수교장로회 총회와 조선예수교 연합공의회 종교단체법안 반대 진정위원으로 일본에 건너가 국회를 방문하기도 했다. 1931년 5월에 묘동교회를 사임한 뒤 『기독신보』 기자로 활동했으며, 선교사들이 『기독신보』를 한국 측에 양도하자 이를 인수받아 발행인이 되었다. 1935년 수송교회 목사가 되었다가 1941년 4월에 영동교회 위임목사로 부임했다. 1942년 종교지도자의 ‘영·미타도좌담회’에 참여했으며 1943년 4월에는 새로 조직된 일본기독교조선혁신교단의 통리(統理)가 되었다. 1957년에 대한예수장로회 총회장으로 피선되었다.
1959년 제44차 총회에서 세계교회협의회(WCC)와 NAE(National Association of Evangelicals:국제복음주의연합) 측의 대립으로 장로회가 분열되었을 때 증경총회장으로서 연동교회에서 총회 속개준비회를 주재했고, 이로써 WCC 중심의 연동측 장로회가 탄생했으며, 오늘의 예장통합 측을 이루게 되었다. 1961년 6월에 연동교회 원로목사로 추대되었고, 1962년 5월 교역 일선에서 은퇴하기까지 21년 여를 연동교회에서 목회활동을 했다. 1963년 연세대학교에서 명예신학박사 학위를 받았다. 주요 저서로는『승리의 길』·『목회여운』 등이 있다. 1977년 2월 14일 사망했다.
전필순의 이상과 같은 활동은 「일제강점하 반민족행위 진상규명에 관한 특별법」 제2조 제13호에 해당하는 친일반민족행위로 규정되어 『친일반민족행위진상규명 보고서』 Ⅳ-15: 친일반민족행위자 결정이유서(pp.825∼856)에 관련 행적이 상세하게 채록되었다.