국제올림픽위원회(IOC)의 올림픽정신을 국내에 보급, 발전시키고 한국의 체육 및 스포츠활동을 국제무대로 확산함으로써 스포츠를 통한 국익증진효과를 극대화시키는 한편, 아마추어정신의 극대화를 통하여 인류평화에 기여할 것을 목적으로 하였다.
본래 대한체육회와는 별도의 규정을 제정하여 시행해왔으나 2009년 6월 대한체육회에 통합됨으로써 대한올림픽위원회의 기능이 대한체육회에 흡수되었다. 제반 업무처리를 위하여 올림픽 및 아시아경기종목 단체의 임원으로 조직되는 위원총회가 있었다. 위원총회는 최고의결기관으로서 그 산하에 상임위원회를 두어 업무를 관장하였으며, 또 사무국을 두어 일상업무를 처리하였다.
위원장은 규정상 대한체육회장을 추대하도록 되어 있었으며, 부위원장·상임위원·평의원 및 감사 등의 임기는 대한체육회 임원과 같고, 임원은 모두 무보수 명예직이었다.
또한, 특별위원회로 대한대학스포츠위원회(KUSB)와 문화위원회를 그 산하에 두었다. 대한대학스포츠위원회는 대학스포츠 발전을 위하여 조직된 것으로 세계대학스포츠연맹(FISU)과 제휴하여 유니버시아드대회 참가를 주된 임무로 하였으며, 문화위원회는 국제올림픽위원회의 요청에 따라 1970년도에 조직된 것으로, 올림픽대회의 예술·문화행사 개최를 위하여 음악·문화·예술 등의 전문가로 구성되었다.
이 위원회가 국제올림픽위원회(IOC)에 가입한 것은 1947년 6월 20일 스톡콜롬 제40차총회의 승인을 얻어서였다. 그 당시 체육회의 공식명칭은 조선체육회였으며 조선체육회가 IOC가입을 위해 대책위원회를 설치한 것은 1946년 7월 15일이었다.
IOC회원국이 되기 위해서는 국가올림픽위원회(NOC)가 존재하여야하고 올림픽종목의 경기단체가 각각 국제연맹에 가입해야 되기 때문에 대책위원회에서는 각 종목의 경기단체 가입절차를 밟도록하고 IOC의 협조를 얻어 가입승인을 받았다.
KOC초대위원장은 여운형(呂運亨)이며 KOC구성과 더불어 1948년 1월 30일부터 2월 5일까지 스위스의 생모리츠에서 열린 동계올림픽대회에 태극기를 앞세우고 첫 출전을 하게 되었다.
이어 7월 29일부터 8월 14일까지 영국 런던에서 개최된 제14회하계올림픽대회에 정항범(鄭恒範 : 조선체육회장 겸 육상경기연맹회장)단장을 비롯한 69명이 참가하여 동메달 2개(권투: 플라이급 한수안, 역도 미들급 김성집)를 획득하여 영국 하늘에 태극기를 올렸다.
그 뒤 1964년 9월 8일에는 문교부장관의 승인을 얻어 사단법인체로 정식으로 출범하여 대한체육회와 완전히 분리되었으나 1966년 방콕아시아경기대회의 선수파견문제로 대한체육회와 갈등이 심화되어 1968년 3월 1일 대한체육회와 다시 통합되었고 위원장에 민관식(閔寬植)이 취임하였다.
1967년도쿄유니버시아드경기대회에 참가하였고, 1976년 몬트리올올림픽대회에서 양정모(梁正模)가 광복 후 처음으로 금메달을 획득하였다. 1979년 2월에는 박종규(朴鍾圭), 1980년 7월에는 조상호(曺相鎬), 1982년 7월에는 정주영(鄭周永), 1984년 8월에는 노태우(盧泰愚), 1985년 5월에는 김종하(金宗河), 1989년 2월에는 김종렬(金鍾烈)이 취임하였고, 1993년 2월에는 김운용(金雲龍)이 위원장으로 취임하여 커다란 역할을 수행하였다.
그간 국제경기대회의 경기실적을 보면, 1984년 LA올림픽대회에서는 금메달 6개, 은메달 6개, 동메달 7개를 획득하여 성적순위 10위에 진입하였으며 1988년 서울올림픽대회에서는 금메달 12개, 은메달 10개, 동메달 11개를 획득하여 세계 4위로 웅비(雄飛)하였고, 1992년 바르셀로나올림픽대회에서도 금메달 12개, 은메달 5개, 동메달 12개로 7위를 확보하여 스포츠 강국의 위치를 고수하였다.
1994년 노르웨이 릴리함메르동계올림픽대회에서 금메달 4개를 따내면서 6위를 차지하여 불모지였던 동계종목의 가능성을 개척하였다.
1986년 서울아시아경기대회와 1988년 서울올림픽대회를 서울에서 개최한데 이어 1997년 무주·전주동계유니버시아드경기대회와 1999년 강원도 동계아시아경기대회를 치렀고 2002년에는 부산에서 하계아시아경기대회를 개최하였다.