본관은 나주(羅州). 자는 희인(希仁), 호는 풍암(楓巖). 임귀연(林貴椽)의 증손으로, 할아버지는 임평(林枰)이고, 아버지는 승지 임붕(林鵬)이며, 어머니는 이종의(李宗義)의 딸이다.
1540년(중종 35) 사마시를 거쳐 1546년(명종 1) 증광 문과에 급제, 승문원정자에 등용되었다가 이듬해 양재역(良才驛)의 벽서사건에 연루되어 삭주에 유배되었다.
1551년 순회세자(順懷世子)의 탄생으로 특사령이 내려져 고향으로 돌아갔다가 선조 초기에 박사에 임명되었으나 무고를 받아 부임하지 못하고 고향에 은거하였다. 젊었을 때부터 기상이 높았으며, 왕래하는 벗들은 모두 당대의 명사들이었다.
특히, 윤결(尹潔)·이운손(李雲孫) 등과 교분이 두터웠고 가난하게 살면서도 이에 개의하지 않고 산과 호수를 찾아 시를 읊으며 유유자적하였다.