1976년에 충청남도 유형문화재(현, 유형문화유산)로 지정되었다. 금강이 내려다보이는 언덕 위에 위치하고 있다.
이곳은 김장생(金長生)이 1626년(인조 4)에 하향하여 후진을 교육하던 자리로서 그는 이 정자를 짓고 《논어 論語》의 ‘如臨深淵(여림심연)’, ‘如履薄氷(여리박빙)’이라는 문장의 뜻을 따서 임리정이라 이름지었다고 한다.
정자가 자리한 언덕의 동쪽 아래에는 김장생이 창건한 죽림서원(竹林書院)이 지금도 남아 있는데, 그는 그 당시 기호학파(畿湖學派)의 종사(宗師)로서 학문은 물론 정치와 경제면에 이르기까지 큰 공헌을 하였다고 한다. 현재 임리정은 강경유림(江景儒林)의 소유로 되어 있다.