전체 높이 295㎝, 비신 높이 164㎝, 너비 81㎝, 두께 29㎝. 1979년 전라남도 기념물오 지정되었다. 이 비는 능주향교로 들어가는 도로변에 위치하고 있는데, 조광조가 1519년(중종 14) 기묘사화 때 이곳에서 귀양살이한 것을 추모하기 위하여 1667년(현종 8) 능주목사 민여조가 세운 것이다.
비는 귀부와 비신·이수를 갖춘 완형이다. 귀부는 완전한 형태가 아니라 자연석에 가까운 암석으로 귀부 형태만 갖추었고, 귀두(龜頭)도 형상만 다듬었다.
비신은 전면에 ‘靜菴趙光祖先生謫廬遺墟追墓碑(정암조광조선생적려유허추묘비)’라 크게 음각하고, 뒷면에 유배 내력을 기록하였다. 비문은 송시열(宋時烈)이 짓고, 전면의 글씨는 민유중(閔維重)이 썼으며, 후면은 송준길(宋浚吉)이 썼다.
이수는 반원형인데 전면에 쌍룡이 어우러져 있으며 배면은 한 마리의 용이 구름을 타고 오르는 모습을 하고 있다. 비각(碑閣)은 정면 1칸, 측면 1칸 맞배지붕으로 창방과 평방을 두르고 우물천장을 하였으며 방풍판을 부착하였다.
이 비각은 1984년에 보수하고 그 후 1986년 정면 5칸, 측면 2칸의 강당과 정면 3칸, 측면 1칸의 영정각(影幀閣)을 새로이 건립하여 영정을 봉안하였으며, 귀양살이 당시의 초가도 복원하였다.