본관은 성주(星州). 자는 실이(實而). 판서 이발(李潑)의 증손으로, 할아버지는 이유(李洧)이다. 아버지는 이주(李湊)이며, 어머니는 권유순(權有順)의 딸이다. 호조판서 이자견(李自堅)과 좌참찬 이자건(李自健)의 아우이다.
1496년(연산군 2) 증광문과에 병과로 급제하여, 같은해 검열로서 연산군의 생모인 폐비 윤씨의 추숭을 반대하여 김산(金山)에 유배되었다. 뒤에 풀려나와 1500년 박사에 기용되고, 수찬을 거쳐 1504년 갑자사화 때 교리로서 폐비 윤씨에 대한 시호 및 능호의 추상(追上)에 반대하였다가 아산에 부처(付處)되었다.
같은 해 다시 앞서 윤씨의 추숭을 반대한 일로 국문을 받고 장배(杖配)되었다. 1506년(중종 1) 중종반정으로 풀려나와 집의·전한·부제학·승지 등을 거쳐 예조참판에 이르렀다. 본래 성품이 호탕하여 풍류와 주색을 즐기고 명예와 절조에 구애받지 않았으며 해학을 잘하였다.