1945년 8월 15일 연합군의 승리와 그 동안 국내외에서의 독립투쟁의 보람으로 광복이 되자, 우선 남한의 국군은 미군정 하에 치안과 질서유지를 위해 1946년 1월 경찰 이외에 남조선국방경비대를 새로 창설하였다. 그 뒤 보다 완벽한 국토방위를 위해, 그 해 6월 해안경비대(미군정법령 제86호)가 추가로 창설되었다.
남조선국방경비대는 뒤에 조선경비대로 개칭되었다. 1948년 <대한민국헌법>이 제정, 공포되고 아울러 <정부조직법>이 제정되자, 이에 따라 육해군의 군정에 관한 사무를 분장하도록 하기 위해 국방부가 창설되었다.
그 해 12월 7일<국방부직제>가 마련되어 국방부에 다시 국방부본부와 육군본부 및 해군본부가 창설되어 1948년 8월 정부수립과 동시에 발족되어 오늘에 이르고 있으나, 그 조직과 기능은 많은 변천을 겪어왔다.
정부가 수립되자 미군정 당국으로부터 행정권이 이양되는 동시에 같은 해 12월<국군조직법>의 공포로 종래의 경비대는 자동적으로 국군으로 편입되었다. 이에 조선경비대는 대한민국 육군으로, 해안경비대는 대한민국 해군으로 각각 개편되었고, 조선경비대 항공사령부는 대한민국 육군 항공사령부로 개편되었다.
국방부본부의 편제는 최초로 1개의 비서실과 제1국·제2국·제3국·제4국 및 항공국을 두었으며, 국방부에 참모총장과 참모차장을 두고 그 밑에 육군본부 및 해군본부를 두었다. 육군항공사령부는 1949년 10월에 육군에서 분리하여 공군본부로 개편, 독립하였다.
그 뒤 1955년 2월에 <정부조직법> 개정에 따라 각군본부 직제가 <국방부직제>에서 삭제되어, 각각 독립, 개편되었고, 1970년 8월의 <정부조직법> 개정 이후 국방부 외청으로 병무청이 신설되고, 국방부 병무국은 폐지되었다.
1984년 8월에 개정된 <국방부직제>에 의거, 국방부는 국방에 관련된 군정 및 군령과 기타 군사에 관한 사무를 맡도록 하였다. 2000년 말 현재 장관과 차관이 있으며, 장관 아래에는 국방정책 수행을 보좌하는 정책보좌관과 대외 문화활동과 국방 주요계획 및 홍보자료업무를 맡는 정훈보좌관이 있다.
그리고 차관 아래에는 차관을 보좌하는 차관보, 군법무관 임용 및 양성업무를 맡는 법무관리관, 자체 감사업무와 공직자 윤리업무를 맡는 감사관, 군비통제 기본정책 계획을 수립하는 군비통제관, 국방정보계획의 수립·조정 업무를 맡는 정보화 기획관리관이 있다.
하부 조직으로는 자금의 운용·회계 및 결산, 물품의 구매·조달 업무를 맡는 총무과와 예비전력에 대한 정책과 비상대비 계획의 수립·조정을 하는 동원국, 인력·복지·보건·교육 및 군종업무에 대한 정책과 계획을 수립하는 인사복지국이 있다.
또한 국방정책을 수립·조정하는 정책기획국과 군사시설 및 환경정책 계획을 수립·연구하는 군사시설국이 있다. 한편, 기획조정관과 계획예산관으로 구성된 기획관리실에서는 국방부의 정책 및 기획의 종합·조정 및 예산편성을 하며, 획득정책관·군수관리관·사업관리관·분석평가관으로 구성된 획득실에서는 획득계획과 투자계획 예산, 군수관리, 사업관리 및 이를 분석·평가하는 일을 담당한다.