본관은 풍주(豊州). 증조는 어사(御史) 임주(任澍), 조부는 서하군(西河君) 임자송(任子松), 아버지는 성균좨주(成均祭酒) 임경유(任景儒)이다.
1352년(공민왕 1) 밀직사지신사(密直司知申事)가 되고, 1355년 천추사로 원나라에 다녀온 뒤 밀직부사가 되었다.
이어 환관 김빠앤티므르[金伯顔帖木兒]의 거짓 왕지(王旨)로 내승제조(內乘提調)가 되었다가 사실이 발각되어 태안군에 유배되고, 다시 제주에 이배되었다. 다시 기용되었으나 1356년 기철(奇轍) 등이 죽임을 당할 때 삭발하고 삼각산(三角山)에 숨었다가 붙잡혀 장형(杖刑)을 당하였다.
1365년 새로 집권한 신돈(辛旽)에 의하여 밀직부사에 복직되어 김란(金蘭)·목인길(睦仁吉)과 함께 궁중에서 서무(庶務)를 맡아 총애를 받았다. 이어 지밀직사사(知密直司事)가 되어 성근익찬공신(誠勤翊贊功臣)의 호를 받았다.
신돈의 천거로 재상이 된 것을 부끄럽게 여겨 최영(崔瑩)·이구수(李龜壽) 등이 쫓겨나는 것을 반대하고 천승(賤僧)인 신돈에게 정사(政事)를 맡기지 말 것을 간하였으나 왕이 듣지 않았다. 같이 복직된 김보(金普)가 신돈의 참소로 재상직에서 파면된 이후로 국사에 참여하지 못하였다.
이어 간관 정추(鄭樞)와 이존오(李存吾)가 신돈을 논하다가 쫓기게 될 때 이를 구호하여 더욱 신돈의 미움을 받았다. 이 때 신돈이 참소하여 전주에 유배된 목인길을 변호하다가 여흥(驪興)으로 유배되었다.