1901년 10월 일본 홍도회(弘道會) 부산지부 독서구락부 도서실로 현 용두산 아래로 추정하는 부산부 교서(交西) 산하정(山下町)에 설립되었다. 1911년 5월 사립 부산교육회에서 승계, 운영하였으며, 1919년 4월 부산부(釜山府)로 이관되어 공립공공도서관으로 발족하게 되었다.
1952년 6월 부산시교육위원회로 이관된 후 1963년 8월에 부산시 부전동에 건물을 신축, 이전하였고, 1968년 11월에 동래분관을, 1976년 1월에 수정분관을 각각 설립하였다. 1982년 8월 17일 현위치로 이전하여 오늘에 이르고 있다.
행정기구 명칭 변경에 따라 1982년에는 부산직할시립시민도서관, 1995년에는 부산광역시립시민도서관으로 개칭되었다. 지금까지 120년이 넘는 장구한 역사와 전통을 지닌 공립공공도서관으로서의 역할을 수행해 오고 있다.
부산광역시립시민도서관은 특히 1901년부터 수집하여 보유하고 있는 고서와 광복전일서(光復前日書) 등 여러 가지 고문헌의 수집과 관리는 물론 이용 활성화를 위해 많은 노력을 기울이고 있다. 1998년에는 부산광역시교육청 공공도서관 특성화 사업에 참여하여 ‘고문헌자료'를 주제로 한 전용자료실을 조성하였고, 2017년에는 문화체육관광부로부터 ‘일제강점기’ 주제 특화도서관으로 선정되어 전국적으로 시민도서관이 소장한 귀중한 장서를 알리는 계기가 되었다.
2018년부터는 국립중앙도서관과 협력하여 고문헌 디지털화 사업을 추진함으로써 국내 귀중자료의 보존 및 공유에 이바지하고 있다.
부산광역시립시민도서관 고문헌자료실에 소장중인 주요 귀중자료로는 부산광역시유형문화유산인 『포은시고(圃隱詩藁)』 등 우리나라를 비롯한 일본, 중국 고서 3,623책, 『京城變動ニ關スル往復電報[경성변동에 관한 왕복전보]』, 부산광역시 문화유산자료인 『교린수지(交隣須知)』 등 한‧일 외교관련 고서 20여종 70여책, 『朝鮮の類似宗敎[조선의 유사종교]』 등 광복전일서 18,300여책 등이 있다.
이외에도 족보 · 문집 및 성씨 관련 자료 7,779책, 북한 및 공산권 자료 2,905책 등의 특수자료, 1950년대 및 1960년대 국내 유일자료 3,646권을 포함한 근현대 발행자료 22,133권 및 창간호 잡지 등을 소장하고 있다.
2024년 7월 현재, 도서 73만여권, 비도서 17,000여점, 전자자료 2,700여종 등의 장서를 소장하고 있으며, 11,443㎡의 면적에 고문헌실, 아메리칸코너, 다문화자료 코너, 귀중자료 수장고, 족보자료실, 실감서재 1901 등 자료실 15실, 제1·2열람실, 성인열람실 등 열람실 3실, 시민소리숲, 동아리실 등 기타시설 26실 등을 갖추고 있다.
시민도서관은 디지털 혁명의 시대적 흐름에 부응하여 맞춤형 지식 정보 서비스 제공, 빅데이터를 활용한 독서정보 서비스 지원, 선택과 집중의 평생학습 운영 및 프로그램 제공, 부산전자도서관 활성화, 메이커 스페이스 장 마련, 다양한 인문 · 문화 · 예술 · 창작서비스를 확대하여 21세기 융복합 사회를 선도하는 복합문화공간으로 기능하고 있다.