정면 3칸, 측면 2칸의 겹처마 팔작지붕건물. 1987년 전라남도 기념물로 지정되었다. 1520년(중종 15) 임붕(林鵬)이 건립한 정자로, 처음에는 임붕의 호를 따서 ‘귀래정(歸來亭)’이라 불렀으나 1555년(명종 10) 후손이 재건하면서 지금 이름으로 고쳤다. 이곳은 조선시대의 명문장가로 이름난 임제(林悌)가 시를 지으며 교우하던 곳으로 기념적 의의가 더욱 깊다.
현재의 건물은 1982년 다시 중창한 것인데 건축적으로 고졸한 맛은 약하나, 영산강을 조망하며 주위에 400여년이 된 팽나무와 괴목나무 등 수목이 울창하고 주변 조경이 잘 가꾸어져 있다. 부지 주위에는 ‘歸來亭羅州林公鵬遺墟碑(귀래정나주임공붕유허비)’·‘白湖林悌先生紀念碑(백호임제선생기념비)’가 있으며 백호임제선생기념관이 있다.
정자는 구릉 위 중앙에 남남향으로 자리잡고 있으며, 주위에 넓은 터를 닦고 수목을 둘렀다. 온돌방 1칸과 누마루 2칸으로 주위에 폐쇄적 벽과 문으로 공간을 구성하였다. 구조형식은 낮은 단층의 기단 위에 덤벙주초를 놓고, 2m 가량 되는 긴 원형 장대석 주초를 세우고 그 위에 이보다 약간 짧은 원형 나무기둥을 세웠다.
전면과 우측면의 창호는 띠살창을 달았고 뒷면과 우측면 창호는 당판문(唐板門 : 마루청의 널문)을 달았으며, 하부 고맥이를 적벽돌로 치장하였다. 가구방식은 기둥머리에 간결한 들보[樑]와 도리를 걸어 결구하였는데, 중앙간에서는 기둥 위에 대들보를 걸치고 동자주(童子柱)와 종량을 세웠으며, 그 위에 판대공(板臺工)과 파련대공(波蓮臺工)을 섞어 종도리를 받치고 있다.