200여년의 전통을 가진 경로당이다. 1798년(정조 22)에 이 지방의 덕망있는 노인 19인이 남영계(南英契)라는 친목계를 조직하고 부안읍 서외리에 그 모임의 장소로서 남영재(南英齋)를 지어 운영하다가 1816년(순조 16)에 지금의 자리로 이축하였다.
1854년(철종 5)에 다시 중수하고 1869년(고종 6)에 노휴재라 개칭하였다. 노휴재는 설립목적에 따른 규약에 의하여 입재(入齋)자격을 엄격히 규제하며, 예로부터 관련된 토지가 있어서 그 곳에서 얻어진 수입으로 운영하고 있다. 특히 200여 년간이나 내려온 문헌이 그대로 보전되고 있는 것이 특징이다.