1985년 2월 25일 전라남도 기념물로 지정되었으나 역사·문화적 가치를 인정받아 2012년 4월 10일 명승으로 승격, 지정되었다.
임대정원림의 시초는 1500년대 말에 고반(考縏) 남언기(南彦紀)가 조영한 고반원이다. 그는 1568년(선조 1) 생원시에 합격한 바 있지만 관직에는 들어가지 않고 이곳에 초려(草廬)를 짓고 평생을 자연과 벗하며 살았다. 대를 수륜대(垂綸臺)라 한 것은 대 아래 못에 낚싯대를 드리우며 즐긴다는 뜻이 있다.
그 뒤 1862년경 병조참판과 사헌부집의를 역임한 바 있는 사애 민주현(閔胄顯)이 고반원의 옛터를 손에 넣고 초정(草亭)을 세운 뒤에 주돈이(周敦頤)의 ‘落朝臨水對廬山(낙조임수대려산)’이라는 시구를 따서 이곳을 임대정(臨對亭)이라 하였다.
이 정원림은 대상부(臺上部)와 대하부로 나누어지고 있다. 대상부에는 서북향의 정자를 중심으로 하여 가운데에 섬이 있는 네모난 연못과 소나무·대나무·매화나무·살구나무·석류나무·측백나무·배롱나무·은행나무 등으로 이루어진 수림으로 구성되고 있다.
대아래 쪽에는 두 개의 섬이 있고 못과 섬 하나가 있는 못이 단차(段差)를 두어 하나의 곡지(曲池)를 이루고 있는 지원(池園)이 있다. 이 지원의 중도(中島) 위에는 배롱나무가 심어져 있고 괴석이 놓여 있으며, 못에는 연꽃이 심어져 있다.