본관은 풍천(豊川). 자는 명로(明老), 호는 고산(鼓山)·전재(全齋)·희양재(希陽齋). 아버지는 임천모(任天模)이며, 어머니는 남양홍씨(南陽洪氏)로 홍익화(洪益和)의 딸이다. 송치규(宋穉圭)·홍직필(洪直弼) 등의 문인이다.
1858년(철종 9) 효릉참봉(孝陵參奉)에 임명되었으나 부임하지 않았고, 이듬 해 다시 활인서별제(活人署別提)·전라도사·군자감정에 임명되었으나 모두 사양하였다. 1861년 조두순(趙斗淳) 등의 천거로 경연관에 발탁되었으나 역시 소를 올려 사직하였다. 1864년(고종 1) 장령·집의·장악정(掌樂正)이 되었고, 이듬 해 호조참의가 되었다.
이 때 만동묘(萬東廟)의 제향을 폐지하라는 왕명이 내려지자 절대 부당함을 재삼 상소하여 다시 제향하게 하였다. 1874년 이조참판에 임명하고 승지를 보내어 나오기를 청하였으나 상소하여 사직하였다. 그 뒤 대사헌·좨주 등에 임명되었다.
경학과 성리학에 조예가 깊어 낙론(洛論)의 대가로서 이이(李珥)·송시열(宋時烈)의 학통을 계승하여 제자인 전우(田愚)에게 전수하였다. 윤용선(尹容善)의 주청으로 내부대신에 추증되었다. 연기의 숭덕사(崇德祠)에 봉향되었다. 저서로는 『고산문집(全齋文集)』 20권이 있다. 시호는 문경(文敬)이다.