전하는 말에 의하면 원래 이곳에는 녹봉사(鹿峰寺)라는 절이 있었다 하는데, 전국의 사적(寺籍)을 보관하였다는 것으로 보아 규모가 매우 컸음을 알 수 있다.
조선시대에 이 절이 폐허가 되어 내려오던 것을 1561년(명종 16)에 성주목사 황준량(黃俊良, 1517 ~ 1563)과 교수(敎授) 오건(吳健, 1521 ~ 1574)이 중심이 되어 개축하고 건물 몇 채를 새로 지어 녹봉정사라고 하였다.
성정당(誠正堂) · 시습재(時習齋) · 양정헌(養正軒) · 양호루(養浩樓) · 관물대(觀物臺) 등의 현판은 모두 이황(李滉)이 직접 명명하고 편액한 것이었다.
얼마전까지 녹봉정사라고 불렸던 건물은 방대했던 녹봉정사의 부속 건물로서 규모는 정면 4칸, 측면 1칸의 소규모 건물이었다. 이 건물은 2009년에 화재로 소실되어 사라졌고, 2011년에 녹봉정사터가 '칠곡 녹봉정사지'라는 명칭으로 경상북도 문화재자료(현, 문화유산자료)로 지정되었다.