본관은 풍천(豊川). 자는 자심(子深), 호는 사우당(四友堂). 고려 밀직사판사 임군보(任君輔)의 증손으로, 할아버지는 임거경(任巨卿)이고, 아버지는 임견(任肩)이며, 어머니는 송호(宋瑚)의 딸이다. 10세에 글을 지어 신동으로 불렸다.
1445년(세종 27) 세종이 효령대군(孝寧大君)의 농장에 갔을 때 그가 글을 잘 짓는 것을 보고 칭찬하였으며, 얼마 되지 않아 동반직의 벼슬을 주었다. 1456년(세조 2) 문과에 급제하여 집현전부교리가 되었다.
다음해 중시에 병과로 합격하여 사헌부장령·봉상시판사(奉常寺判事) 등을 거쳐 이조참의에 오르고, 호조·예조·병조·형조 등 4조의 참판을 지냈다. 1466년 발영(拔英)·등준(登俊)의 양시에 합격하여, 바로 예조판서와 의정부좌·우참찬에 올랐다.
1471년(성종 2) 좌리공신(佐理功臣) 3등이 되고 서하군(西河君)에 봉해졌다. 문장으로 이름이 났고, 풍수·의복(醫卜)에도 능통하였다.
그러나 성품이 교활하고 탐욕스럽고 사악하며, 그의 아들 임사홍(任士洪), 손자 임숭재(任崇載)도 탐욕스럽고 간사하여 나라를 그르치게까지 되어 당시 사람들이 대임(大任)·소임(小任)이라고 하였다. 시호는 호문(胡文)이다.