1921년 5월 9일(음력 4월 2일) 김윤동(金潤東)의 차남으로 서울에서 태어났다. 본관은 안동(安東), 자는 서경(恕卿), 호는 일중(一中)이다. 김창집(金昌集)의 6형제 중 막내 김창립(金昌立)의 후예로서, 증조부 김석진(金奭鎭)은 고종 때 형조판서를 지내고 조부 김영한(金甯漢)은 광무연간에 용인 군수를 지내는 등 조선 후기 학예를 주도했던 안동 김씨 집안에서 가학을 이었다.
경성 삼흥보통학교와 중동학교를 졸업했으며, 일가이자 조부의 절친이었던 서화가 김용진(金容鎭)으로부터 서예를 익혔다. 1942년 중동학교 졸업 당시 한글 서예 학습서인 국문서법연구서(國文書法硏究書)를 완성한 이래로 한글 서예 보급에 남다른 성과를 보였다. 당시의 저술에서는 『훈민정음』, 『용비어천가』 등의 옛 판본체에 전서와 예서의 필법을 가미하여 고안한 서체를 선보였는데, 정인보(鄭寅普)에 의해 일명 ‘고체(古體)’로 명명된 글씨였다. 궁중에서 쓰던 궁체(宮體)를 연구하여 한글 서예의 보급에 노력하였고, 1947년에 쓴 「유관순 기념비」는 해방 이후 최초의 한글 비문으로, 이후의 한글 비문 제작에 견인차가 되었다.
경동공립중학교·경동고등학교 국어교사, 동방연서회(東方硏書會) 창립, 일중묵연(一中墨緣) 개설, 오산학교(梧山學校) 이사장 등을 통해 후진 양성을 하였고, 한국 서예가 협회장, 국전 운영위원, 대한민국 예술원 정회원 등을 역임하며 서단의 지도적 역할을 하였다. 2006년 11월 23일 별세하였다.
작품으로 「윤봉길 열사 기의비」(1949), 「백범 김구 선생 묘비」(1950), 「사육신 묘비」(1955), 「4.19혁명 기념탑」(1960), 「탑동공원 사적비」(1967), 「삼국통일 기념비」(1977), 「인촌 김성수 선생 묘비」(1989) 등이 있다. 저서로 『우리 글씨 쓰는 법』, 『우리 글씨체』, 『서도집성(書道集成)』, 『근역서보(槿域書譜)』, 『일중 김충현 서집(一中金忠顯書集)』 등이 있다.