본관은 광주(廣州). 자는 중거(仲擧), 호는 송헌(松軒). 할아버지는 좌찬성 이손(李蓀)이고, 아버지는 파주목사 이순언(李純彦)이다. 어머니는 황해평사(黃海評事) 이산보(李山甫)의 딸이다.
어려서부터 재주가 뛰어나서 일찍이 경사(經史)를 통달하고 많은 고전을 섭렵하였다. 지기(志氣)가 높고 절조가 있어 추앙을 받았다.
1507년(중종 2) 진사시에 합격하고 음사(蔭仕)로 입사하여, 사축서사축(司畜署司畜)과 음죽현감 등을 역임한 뒤 부사과(副司果)에 그쳤다. 그 뒤 관직을 버리고 전원에 돌아와서 소나무 수천 그루를 뒷산에 심고 가꾸었으며, 귀래정(歸來亭)이라는 정자를 짓고 한가롭게 지냈다.
1520년 김안국(金安國)이 관직에서 물러나 이천(利川)에 우거하고 있을 때 10리 거리를 두고 서로 내왕하면서 시와 풍류를 즐겼다. 김안국이 몇 번이나 다시 벼슬하기를 권하였으나 듣지 않고 은사(隱士)로서 여생을 보냈다.