충청북도 옥천 출신. 호는 청명(靑溟). 청산면 법화리(法禾里) 버구실에서 아버지 임원재(任元宰)와 어머니 김영례(金永禮)의 장남으로 태어났다.
4세 때 조부 임경호(任敬鎬)로부터 천자문을 배웠고, 14세 때 보은의 서당 관선정(觀善亭)에 들어가 겸산(兼山)홍치유(洪致裕)선생에게 6년간 한학을 수학하였다. 이후 대구에서 막노동을 하다가 해방 후 중등교원 자격시험에 응시, 국사 · 국어 두 과목의 교사자격증을 취득하였다. 경북중학교 · 경북고녀(경북여중)의 교사를 거쳐 대구사범 동양의약대학 교수를 역임하고, 1954년에 성균관대학교 사학과 교수가 되었다.
성균관대학교 재직 중에 4·19혁명이 일어나자 ‘4·25 교수데모’를 주도해 성명서에 “대통령은 책임지고 물러나라”는 문구를 넣을 것을 주장하고, “학생의 피에 보답하라”는 플래카드 글씨를 직접 썼다.
4·19혁명 이후 민족자주통일 중앙협의회에 통일방안 심의위원으로 참가해 활동하였다. 5·16군사쿠데타가 일어난 직후 이 단체에 참가한 것이 문제가 되어 구속되고 성균관대학교에서 해직되었다. 1964년에는 ‘인민혁명당’사건에 연루되어 다시 한차례 옥고를 치렀다.
1963년 11월 3일 서울특별시 종로구 수표동에 한문교육기관인 ‘태동고전연구소’를 창설하고, 일반인을 대상으로 한문강좌를 개설하였다. 1976년부터 매년 10명씩 선발해 3∼5년간 매월 장학금을 주고 한문교육을 시켰다.
1985년에는 태동고전연구소 부지와 서적 등 일체를 한림대학교에 기증하고, 연구소의 운영을 학교에 맡겼다. 이로써 한림대학교 부설태동고전연구소로 발족하고, 1999년 4월 12일 작고할 때까지 연구소 소장으로 재직하면서 많은 연구인재를 배출하였다.
1971년 문화부 문화재위원(현, 문화유산위원)으로 위촉되었으며, 1997년 사임하기까지 두 차례 문화재위원회 위원장을 역임하였다. 한국서지학회를 재창립해 두 번에 걸쳐서 회장을 맡아 계간 『서지학보』를 발행하였다.
세 차례 서예전시회를 가졌으며, 1990년도 제2회 대한민국서예대전 심사위원장을 역임하였다. 『한국금석집성(韓國金石集成)』을 비롯해 금석학에 대한 저술을 남겼으며, 『한국의 서예』 등 서예 및 서예사에 관한 여러 편의 저술을 남겼다.
『당시정해(唐詩精解)』 · 『한문강좌(漢文講座)』를 저술했고, 「무술오작비소고(戊戌塢作碑少考)」 등 한국사 관련 논문과 약 30여 편의 해제를 썼다. 민족문화추진회 고전번역사업에 참여해 『동문선(東文選)』 등을 공역했으며, 『국역성호질서』 등을 감수하였다.
1979년 보관문화훈장을 받았으며, 1995년 한국정신문화연구원(지금의 한국학중앙연구원) 한국학대학원으로부터 명예문학박사를 받았다. 1998년에는 사재를 모두 출연해 전통문화를 계승 발전시키고 통일운동에 기여하는 것을 목적으로 하는 청명문화재단을 설립하였다.