본관은 평택(平澤). 자는 사수(士遂), 호는 금호(錦湖). 전라남도 나주 출생. 아버지는 북병사 임준(林畯)이며, 어머니는 안동권씨로 현감 권석(權錫)의 딸이다.
어려서부터 총명하고 성격이 강직하였다. 1531년(중종 26)에 진사가 되고, 1535년 문과에 병과로 급제하여 주서·기사관·사서 등을 지내고, 사가독서(賜暇讀書)한 뒤 설서·수찬·회령판관·전한 등을 거쳐 부제학에 승진되었다. 1545년 명종이 즉위하자 을사사화가 일어나면서 제주목사로 쫓겨났다가 파면되었다.
1547년(명종 2) 양재역(良才驛) 벽서사건이 일어나자, 소윤 윤원형(尹元衡)에게 대윤 윤임(尹任)의 일파로 몰려 절도안치(絶島安置)된 뒤 곧 사사되었다. 생전에 호당(湖堂)에서 함께 공부하였던 이황(李滉)·김인후(金麟厚) 등과 친교를 맺고 학문과 덕행을 닦았다.
문장에도 뛰어나 많은 사람들의 칭송을 받았다. 뒤에 신원되었고, 1702년(숙종 28) 나주의 송재서원(松齋書院)에 제향되었다. 저서로는 『금호유고(錦湖遺稿)』가 있다.