평안북도 용천(龍川) 출생. 본관은 김해(金海). 호는 실당(實堂). 김승묵(金承默)과 한승은(韓承恩) 사이에 2남 2녀 중 장남으로 태어났다.
1932년에 신의주고등보통학교(新義州高等普通學校)와 1937년에 경성제국대학(京城帝國大學) 법과를 졸업하고, 1942년에 조선변호사시험(朝鮮辯護士試驗)에 합격하였다.
광복 후 1945년 서울지방검찰청 검사에 임용되었고, 1948년 법무부 법무과장, 1961년 서울지방검찰청 검사장, 1963년 서울고등검찰청 검사장, 1964년 대검찰청 차장검사를 역임하였다.
그 뒤 1968년에는 법무부 차관에 임명되는 등 건국 초기와 6·25 및 5·16 등 혼란기에 사회질서를 유지하고 국헌을 준수하는 검찰업무를 수행하는데 25여년을 봉사하였다. 1969년에 법원행정처 처장을 맡아 우리나라 사법제도의 개선과 발전에 기여하다가, 1977년에 서울에서 변호사업을 시작하였다.
서울지방법원 부장검사 때에는 ‘조봉암(曺鳳岩)간첩사건’, 대검찰청장 때에는 삼성재벌(三星財閥)의 ‘사카린밀수사건’ 등 당시 국내외 큰 화제가 된 사건을 맡아 처리하였다. 1973년에는 헌법위원회(憲法委員會) 위원을 위촉받았고, 같은 해에 경희대학교로부터 명예법학박사 학위를 받았다.
또한 1979년에 상사중재원(商事仲裁院) 중재인, 1981년에 평화통일자문회의(平和統一諮問會議) 자문위원으로 활동하였다. 1972년 청조근정훈장, 1963년 근무공로훈장을 받았다. 저서로는 ≪한국사법사 韓國司法史≫(상·중·하)·≪근대한국재판사 近代韓國裁判史≫·≪속근대한국재판사 續近代韓國裁判史≫가 있다.