교육기관으로서의 성균관이 유생들의 학문 연구에 필요한 서적의 부족으로 교육상 많은 곤란을 겪게 되었다. 이에 한명회(韓明澮) 등 제신들이 장서각의 필요성을 주청, 성종의 윤허를 얻어 건립되었다. 건물이 세워진 뒤 성종이 ‘존경’이라 이름하고 많은 서적을 하사하였다. 그 뒤 장서가 많을 경우에는 수만 권에 이르기도 하였다.
장서 구성은 성균관의 교육 내용과 밀접한 관계를 가지고 있었다. 수집에 있어서도 ≪학령 學令≫·≪학교모범 學校模範≫ 등에 정해진 독서 대상 서적의 범위를 벗어날 수 없었다. 따라서 기본 장서는 사서(四書)·오경(五經)·제사(諸史)와 성리학 중심의 유가 도서이고, 불교는 물론 노장(老莊) 및 기타 잡류의 도서는 금지되었으며, 농학(農學) 등의 기술계 서적도 수장되지 않았다.
도서의 수집 방법은 주로 ≪경국대전≫에 정해진 반서제도(頒書制度)에 따라 교서관(校書館) 등에서 인출되는 도서를 분급받았다. 전란 등으로 서적의 부족이 극심할 때에는 지방에서 인출되는 도서도 납본하게 하였으며, 중국으로부터 수입하는 경우도 있었다.
장서의 출납은 2명의 전임 직원을 두어 관장하게 하였다. 성균관 직제에 의하면 시대에 따라 다소의 차이가 있으나 사예(司藝, 정4품)·전적(典籍, 정6품)·학정(學正, 정8품) 등의 관원이 업무를 담당하였다. 따라서 도서관 구성 조건의 세 가지 요소인 건물·장서·직원을 모두 갖추었다고 할 수 있다.
1514년(중종 9)에 화재로 소실되고 말았으며, 그 뒤 곧 재건된 것으로 여겨지나 확실한 기록이 없어 자세한 내용은 알 수 없다. 화재 이후 다시 도서의 수집이 이루어졌으나 임진왜란으로 인하여 다시 큰 화를 입게 되어 남은 책이 1, 2종에 불과하였다. 그 뒤 임시로 존경각을 복설하고 낡아 누락되거나 더러워진 책 일부를 비치해오다가 1626년(인조 4)에 중건되었는데, 이것이 현재의 건물이다.
조선 말기까지 계속 유지되고 장서도 증가되었으며, 1895년(고종 32) 성균관의 학제 변경에 따라 경학과(經學科)가 설치되면서 근대 교육기관의 도서관으로 계승되었다. 일제의 식민통치와 6·25전란으로 인하여 장서는 모두 산실되고, 현재는 건물만 남아 있다.