우리나라의 각종 군사유적과 유물을 조사, 정리하고 수집, 보관, 전시함으로써 전통 국방 문화유산에 대한 연구, 이해 및 교육에 일익을 담당하고자 설립되었다.
1956년 10월 육사기념관으로 개관하여 1966년 10월 4일 군사박물관으로 개칭하면서부터 군사전문박물관으로 발전해 왔다. 1967년 9월 10일에는 과거 조선시대의 삼군부청사, 통리기무아문의 청사, 시위대청사 및 조선보병대 사령부로 사용되었던 청헌당(淸憲堂)으로 이전하여 군사박물관으로서의 존재 가치를 높임과 동시에 청헌당 내부를 고대 전시관으로 쓰기도 하였다.
이후 육사박물관은 점차 늘어가는 군사 유물을 관리하고, 육군 전체의 박물관으로 활용하기 위하여 1981년 5월 15일 건물 신축 공사를 기공하여, 1983년 3월 28일 준공하였다. 이때를 즈음하여 박물관의 공식 명칭도 육사박물관에서 육군박물관으로 개칭되었다. 자료 수집과 보완 및 전시 작업을 거쳐 1985년 5월 1일 정식 개관하였다. 그리고 1996년육군사관학교 개교 50주년이 되는 해에 기존의 지상 64m 전망대를 가진 교훈탑 1층에 육사기념관을 개관하였다.
박물관은 건축가 김중업이 설계한 3층 원형 건물로 3,410㎡(1,032평)의 전시실을 중심으로 부대 시설을 포함하여 6,000㎡(1,815평)의 규모이다. 육군박물관에서 소장하고 있는 군사 유물들은 선사시대부터 현대까지 아우르고 있으며, 이 중 일부가 고대실과 현대실로 분리되어 전시되고 있다.
고대실에는 선사시대부터 광복까지의 군사 자료 약 1천점이 전시되어 있는데, 전통 무기 중 특히 초기 화약 무기의 전시를 비롯하여 갑옷 등의 복식, 깃발, 전쟁 기록화, 병서, 문서, 의병이나 애국지사의 유물 등 시대마다 민족과 국가를 수호하기 위하여 사용되었던 군사 유물들이 전시되어 있다. 이곳에서는 국가지정유산인 보물 9종 11점이 전시되어 더욱 가치를 높이고 있다.
현대실에는 6·25사변과 월남 참전 기념물, 대간첩 작전 노획물, PKO 자료, 역대 참모 총장 기념물 등 사건 중심적 전시와 현대에 발전되어 왔던 권총, 기관총 등의 무기류와 군복의 변천 과정 등이 전시되어 있다. 옥외 전시장에서는 각종 외국 고대포들이 전시되어 있다.
1964년 10월 제1회 특별전으로 ‘고대 무기 특별전’을 시작으로 ‘한국의 활 · 화살 특별전’(1994), ‘건군 50주년 기념 특별사진전-건군과 한국전쟁’(1998), ‘한국의 전통 화약무기’(2006), ‘6.25전쟁과 육군사관학교의 특별한 이야기’(2010) 등의 특별전을 개최해왔다. 또, 휴전선 일대 및 경기도와 강원도 지역의 군사유적지에 대한 지표조사 및 육군박물관에 소장된 유물의 연구활동을 진행하여 매년 『학예지』와 『지표 조사 보고서』 등을 발간하고 있다.