조선시대 유교문화와 관련된 유물을 중심으로 선사시대 석기에서 근현대의 미술 및 역사자료 등을 수집․ 발굴하고 이를 전시와 교육의 자료로 활용하며 아울러 학술연구에 기여함을 목적으로 설립되었다.
박물관 설립 이전에는 유물의 수집과 보관을 도서관에서 담당하였다. 1964년 6월 중앙도서관 5층에 별도의 공간을 마련하여 개관하였다. 1979년 6월 호암관으로 이관하였다가, 2000년 3월 2일 600주년기념관으로 이전하였다.
설립 직후에는 고려 말에서 대한제국 말기까지 조선시대의 주요 인물 1,136명의 필적을 모은 『근묵(槿墨)』, 성균관(成均館)에서 봉행하는 석전(釋奠)의 문묘제례악(文廟祭禮樂)에서 사용하는 악기 등 조선시대를 대표하는 유물을 소장하였다. 이후 석기시대의 돌칼을 비롯하여, 청동기시대의 토기, 삼국시대의 불상과 와당, 고려시대의 청자, 조선시대의 각종 생활유물, 근현대 미술․ 서화 등 우리나라 문화유산 전반에 대한 수집이 이루어졌다. 문화유적으로 1984년김해 퇴래리유적, 1996년여수 화장동 유적, 2003년경기도 양수리유적에 대한 발굴사업을 진행하였다.
1968년부터 전국에 산재한 삼국․ 고려․ 조선초의 금석문에 대한 조사와 탁본사업을 진행하여 삼국시대에서 조선시대에 이르는 금석문탁본 1,000여 점을 소장하고 있고, 1970년부터 2010년까지 7차례의 금석문 탁본전시회를 개최하였다.
일제강점기에 조선총독부박물관장을 역임한 후지타 료사쿠(藤田亮策)가 한국의 문화유적을 촬영한 사진의 유리원판을 1,875매를 소장하고 있는데, 이를 복원하고 정리하여 2006년 ‘집안 고구려 유적의 어제와 오늘’전, 2007년 ‘경주 신라 유적의 어제와 오늘’전을 개최하였다.
조선시대의 고문서 5,000여 종과 간찰류 3,000여 종을 소장하고 있다. 2009년에는 대표유물인 『근묵』을 실물대로 영인하고 탈초․ 번역하여 출간하였다.