1963년 보물로 지정되었다. 정면 5칸, 측면 4칸의 겹처마 팔작지붕건물. 신라 헌안왕(857∼860) 때 최치원(崔致遠)이 태인현감(泰仁縣監)으로 재임 중 세웠다고 전하나 정확한 초창연대는 알 수 없다.
피향이란, 향국(香國)을 둘로 나누었다는 의미로, 본래 이 누정의 상하에는 상연지제(上蓮池堤)와 하연지제(下蓮池堤)의 두 연지(蓮池)가 있어 여름에는 연꽃이 만발하여 향기가 누정의 주위에 가득차므로, 이를 뜻하여 피향정이라 부르게 되었다고 한다.
그러나 현재는 주변이 많이 변형되어 옛 정취는 사라지고, 마치 평지 위에 누정이 건립된 것처럼 보인다. 《증보문헌비고》에 의하면, 광해군 때 현감 이지굉(李志宏)이 중건하고, 현종 때 박숭고(朴崇古)가 확장 중건하였으며, 1716년(숙종 42) 현감 유근(柳近)이 전라감사와 호조에 교섭하여 정부의 보조로 재목을 변산(邊山)에서 베어다가 현재의 규모로 건물을 세웠다고 한다.
그 뒤 1882년에 또 한 차례의 중수가 있었고, 6·25전쟁 후에는 태인면사무소로 사용되어 오다가 1957년 면사무소를 신축하면서 원상으로 환원되었다. 최근에는 1972년 주변의 신축공사가 있었고, 1974년 단청공사를 하여 오늘에 이른다.
우물마루로 된 바닥은 지상으로부터 약 1.42m 높이의 28개 화강암 기초 위에 놓여진 누마루 형태를 하고 있다. 막돌초석을 놓고 이 위에 짧은 돌로 만든 두리기둥을 세웠으며, 부분적으로 단주형(短柱形) 초석을 놓아 이 위에 나무로 된 두리기둥을 세웠다.
기둥은 창방(昌枋)으로 결구하고, 기둥 위에 주두(柱頭)를 얹은 뒤, 쇠서[牛舌] 하나를 내밀어 초익공(初翼工)식의 구조를 이루고 있다. 가구는 7량(七樑)으로 내부에는 고주(高柱) 사이에 대들보를 걸고, 첨차(檐遮)로 된 동자기둥을 세워 종보[宗樑]를 받치고, 다시 이 위에 초각(草刻)된 대공을 얹어 종도리를 받치고 있다.
우물마루의 사방에는 계자난간(鷄子欄干)을 둘렀으며, 마루로 오르기 위하여 전후의 어간(御間)에서는 난간을 끊어 그 앞에 돌계단을 놓았다. 천장은 연등천장[椽背天障:서까래가 드러난 천장]이 주류를 이루나 양쪽 협간(夾間) 사이에는 귀틀을 짜 우물천장을 가설하였다. 창호는 가설되지 않아 사방이 모두 트이게 되어 있다.
건물 내부에는 이 누정을 거쳐간 시인 묵객들의 시가를 기록한 편액이 걸려 있으며, 그 반대편의 어간 창방 위에는 ‘湖南第一亭(호남제일정)’이라는 편액이 걸려 있다. 이 건물은 조선 시대의 대표적인 정자의 하나로 조선 중기의 목조건축 양식을 잘 보여 주고 있다.