본관은 풍천(豊川). 자는 효백(孝伯), 호는 만휴(萬休). 임윤(任尹)의 증손으로, 할아버지는 판서 임국로(任國老)이고, 아버지는 홍문관교리 임수정(任守正)이다.
1626년(인조 4) 정시문과에 병과로 급제, 1627년 정묘호란 때 가주서로 척화를 주장하였다. 이듬해 반란을 음모하던 아우 임지후(任之後)와 숙부 임취정(任就正) 등이 죽음을 당하자 벼슬을 그만두고 울진 산중으로 내려가 향인과 교유하면서 학문을 연구하였다.
그 뒤 문장이 뛰어나고 지행(至行 : 지극히 훌륭한 행위)이 있다는 조신들의 의론으로 특채되어 1653년(효종 4) 장령이 되었다. 이어 1658년 종성부사가 되어 수항루(受降樓)를 세우고 학사(學舍)를 지어 변경에 치적이 많았다.
1661년(현종 2) 담양부사가 되고, 1663년 승지를 거쳐 예조참의가 되었다. 그 뒤 1669년 다시 담양부사로 나가 재난에 처한 백성들을 잘 구휼한 관계로 청백리에 녹선되었으며, 관품도 승자되었다.
이듬해 병조참판이 되자 정언 윤지선(尹趾善)으로부터 전에 아우가 저질렀던 역모사건을 들어 탄핵을 받았으나 본인이 저지른 죄가 아닐 뿐더러 문재와 행의가 뛰어난 관리임을 내세운 왕의 비호로 무사하였다. 이어 1672년 경기감사로 나갔다가 돌아와 호조참판을 역임하였다.
은퇴한 뒤 유유자적하며 「목동가(牧童歌)」를 지었다고 한다. 그는 문장이 뛰어났고, 만년에는 『주역』을 가장 좋아하였다. 이조판서에 추증되고, 울진의 고산서원(高山書院)에 제향되었으며, 시호는 정희(貞僖)이다.