정면 3칸, 측면 2칸의 합각지붕건물. 남산 중턱의 기암절벽에 있는 영호대 위에 1720년(숙종 46)박종표(朴宗標)가 지었는데, 1910년 개축하였다.
바닥은 널마루를 깔았고, 기둥은 흘림식기둥이며, 두공(枓栱)은 2익공을 짜올렸다. 천장은 소란반자(小欄盤子)와 통천장을 하였다. 조각으로는 측보머리의 용조각, 동자기둥[童子柱]의 제공(諸貢) 조각, 화반(花盤 : 주심도리 밑 장여를 받는 초새김한 받침)의 연꽃조각과 귀면조각이 정교하고 세련되었다.
건물에는 비교적 간결한 모루단청[毛老丹靑 : 머리초에만 칠한 단청]으로 장식하였다. 영호정은 벼랑 밑을 감돌아 흐르는 강물이 이 누정 아래에서 호수처럼 되었는데, 여기에 누정의 그림자가 비끼어 아름다운 경치를 이룬다는 데에서 나온 이름이다.