임진왜란 때 전라관찰사를 지낸 이광(李洸)이 향풍을 바로잡고 학문을 권장하기 위하여 조직한 남산동백발회(南山洞白髮會)에서 유래한다.
그 뒤 이식(李植)이 종조부인 이광의 백발계를 다시 조직하여 향풍을 길러 향약을 실천하였는데, 한동안 기능이 약화되었으나, 1862년(철종 13) 옛날 백발회 유지에 모현재를 창건하고, 동계(洞契)를 다시 실시하여 학문을 권장하였다.
또한 항일투쟁을 벌여 일본의 탄압에 굴복하지 않고 일생을 마친 구로회원(九老會員)이 있으며, 백발회비각과 구로회비각이 있다.