1906년 2월 이범구(李範九)·이근상(李根湘)·박용화(朴鏞和)·민형식(閔衡植)·윤치호(尹致昊)·이봉래(李鳳來) 등이 근대 도서관의 설치가 필요하다는 데 뜻을 모아 발기하였다.
도서관 창설을 위하여 평의원회를 구성하고 회현방(會賢坊) 미동(美洞)에 있는 이용문(李容汶)의 집을 임시사무소로 하여 설립을 추진하였다.
이에 대하여 『황성신문』에 ‘한국도서관(韓國圖書館)’이라는 제목으로 자세히 보도되었는데, 이 기사를 본 각계 인사들의 많은 지원이 있었다.
이범구는 일본에서 출판된 새로운 책과 132질의 백과전서를 기증하였고, 홍준식(洪俊植)은 각종 서적 2,700권, 안경선(安慶善)은 사서(四書)·『봉신연의사요(封神演義史要)』·『수호지(水滸誌)』·『동국역사(東國歷史)』·『박물신편(博物新編)』 등의 서적과 사무용품, 신봉휴(申鳳休)는 문학, 흥국책 등에 관한 도서를 기증하였다.
1906년 3월 25일 도서관장에 탁지부대신 민영기(閔泳綺), 평의원장에 궁내부대신 이재극(李載克), 서적위원장에 학부대신 이완용(李完用)이 각각 선임되었다.
평의원은 민상호(閔商鎬)·윤치호 등 25명으로 늘어났으며, 도서관 건물로는 종정부의 청사를 사용하였다. 그리고 도서관 건축과 운영 경비는 임원이 공동으로 부담하는 방법을 취하였다.
이와 같이 몇몇 유지들에 의하여 발기된 도서관 설립 문제는 1910년 2월 종정부회의에서 대한도서관을 확장하기로 협의함으로써 국립도서관 성격이 뚜렷해졌다. 모든 준비가 완료되어 개관만을 기다리고 있었다.
그러던 중 한일합방이 되자 1911년 5월 도서관 개관을 위하여 수집된 10만여 권의 장서는 조선총독부 취조국에 몰수되어 조선총독부 도서관이 설치되면서 전부 이관되었다.
대한도서관은 개관하지는 못하였지만, 우리나라에서 최초로 시도된 국립도서관이었다는 점에서 그 의의가 크다.