본관은 나주(羅州). 자는 치구(穉構). 임성헌(林聖憲)의 증손으로, 이조참판 임한진(林翰鎭)의 아들이다.
생원으로 성균관에서 학업을 닦던 중 37세 되던 해인 1836년 인일제(人日製)에서 수석을 차지하여 바로 전시에 나갈 자격을 얻고, 곧이어 실시된 식년시 문과에 장원으로 급제하였다.
홍문관교리 등의 관직을 지낸 뒤 1844년 평안도암행어사로 나가서 여러 수령의 비리를 다스렸다. 1854년 성균관대사성에 제수되었고, 승지를 지낸 뒤 1856년 부사로 청나라에 다녀왔다. 전라도관찰사와 이조참판을 지낸 뒤, 1864년 철종의 부음을 전하고 고종의 승습을 인정받는 사명을 띠고 다시 부사로 청나라에 다녀왔다.
그 뒤 여러 차례 사헌부대사헌을 지내고 나서 1870년 영의정 김병학(金炳學)의 추천으로 승진, 공조판서에 제수되었고, 이어서 예조와 이조의 판서를 차례로 역임하였다. 1872년 이후로는 1873년에 두번 째로 전라도관찰사가 되어 외직에 나갔던 것을 제외하고는 대체로 예문관 또는 홍문관의 제학으로서 문한(文翰)을 담당하였다.
대사헌으로 재직중이던 1860년에 천주교도 남종삼(南鍾三)·홍봉주(洪鳳周) 등을 극형에 처할 것을 주장하였다. 시호는 문헌(文憲)이다.