1519년(중종 14) 기묘사화로 조광조(趙光祖)를 중심으로 이상정치를 추구하던 신진사류들이 크게 몰락하게 되자, 난을 피하여 도립리로 낙향한 엄용순이 건립하였다.
당시의 명현인 김안국(金安國)을 비롯하여 강은(姜濦)·오경(吳慶)·성두문(成斗文)·임내신(任鼐臣) 등 다섯 선비들도 함께 낙향하여 이 정자에 모여 시를 짓고 학문을 논하였는데, 이들을 가리켜 괴정육현(槐亭六賢)이라 하였다 한다.
이 정자 앞에 여섯 사람이 우의를 기리는 뜻으로 느티나무 여섯 그루를 심어 육괴정이라 불렸다. 처음에는 초당으로 지었다고 하나, 그 뒤 여러 차례의 중건을 거쳐 지금은 팔작집으로 된 본당과 이를 둘러싼 담장과 대문으로 되어 있어 정자가 아닌 사당의 형태이다.
정문 안쪽에는 임진왜란 때 여주 영릉(英陵)을 지키려다 순절한 엄용순의 손자 유윤(惟尹)의 충신정문 편액이 걸려 있다.