1894년 6월 23일 프랑스의 쿠베르탱(Coubertin, P.)이 각국의 저명인사 · 교육자 · 체육관계자들을 초청하여 고대올림픽의 전통과 이념을 선양하고, 아마추어경기를 권장하며, 근대올림픽경기대회를 총괄하고 발전시킬 목적으로 파리의회에서 창설한 단체이다.
초창기에는 15개국이던 회원국이 오늘에 이르러 198개국으로 그 수가 늘어났으며, 우리나라는 1947년에 정식으로 가입하였다. 스위스 로잔에 본부를 두고 있으며, 법률상의 지위는 국제법에 의한 법인체로 되어 있다.
순수한 민간 비영리단체로 ① 스포츠와 스포츠경기의 조직 및 발전 도모, ② 올림픽의 이상 아래 스포츠의 권장 및 이에 의한 모든 국가의 경기자간의 우호관계의 촉진 및 강화, ③ 올림픽경기대회의 정기적인 개최 확인, ④ 쿠베르탱 및 동지들이 올림픽경기대회를 부활시키기 위하여 제창한 빛나는 역사와 숭고한 이상을 보다 더 가치있는 것으로 승화시키는 일 등을 목적으로 하고 있다.
이러한 숭고한 이상에도 불구하고 제2차 세계대전 후 특히 미국과 소련간의 냉전여파로 정치적 영향력이 미치기 시작했다.
제2차 세계대전 후 국제올림픽위원회 총회에 상정된 상당수의 안건이 국제정치와 밀접한 관계를 가지고 있었으며, 올림픽에 대하여 최고의 권위와 최종적인 결정권을 가지고 있는 기관으로서도 통제할 수 없는 많은 사건들이 발생하였다.
1972년 제20회 하계올림픽 뮌헨대회 때 이스라엘선수단에 대한 팔레스타인 게릴라들의 테러, 1976년 제21회 하계올림픽 몬트리올대회 때는 뉴질랜드와 인종차별을 하는 남아프리카공화국의 럭비전에 항의, 아프리카 및 카리브해 연안의 26개의 흑인국가들이 불참하였다.
1980년 모스크바대회에 소련의 아프가니스탄 침공에 대한 항의로 미국을 비롯한 서방의 67개국들이 불참하자 이에 대한 보복으로 1984년 로스앤젤레스대회에 소련을 비롯한 공산권 14개국이 불참한 예들이 그것이다.
위원회는 지난 30년 동안 아마추어의 정의를 규정한 국제올림픽위원회 헌장을 시대에 맞도록 여러 차례 개정하고, 국제정치의 압력으로부터 순수성과 전통성을 지키기 위해 많이 노력하였다.
조직은 중요한 의결기관인 총회와 집행기관인 집행위원회가 있으며, 위원회의 전체업무는 위원장이 총괄하고 있다. 위원장은 초대 비켈라스(Vikelas: 그리스인)로부터 2013년부터 9대 토마스 바흐(Thomas BACH: 독일인)에 이르고 있다.
위원장은 총회의 비밀투표로 선출되며, 그 임기는 8년이나 재선될 수 있고, 다만 재선될 경우의 임기는 4년으로 하고 있다. 위원은 상당한 직위와 고결한 품성, 그리고 올바른 판단력과 실천력을 가지고 올림픽정신에 투철한 인사이어야 한다고 헌장에 명시하고 있다.
위원직은 스포츠계 최고의 명예직이며, 국제적인 예우를 받을 뿐만 아니라, 국가와 이념을 초월하여 양심과 정의를 대변하는 인물로 인정받는다. 대부분의 나라에 입국사증 없이 입국이 허용되며, 투숙한 호텔에는 그 위원의 나라 국기를 게양해주는 등 특별한 예우를 받는다.
위원은 국제올림픽운동을 추진, 운영하는 국제올림픽위원회의 구성원으로서 4년마다 한번씩 열리는 올림픽에 관한 모든 사항을 결정, 수행하는 권한을 가진다. 창립총회 당시 15인이던 위원이 1999년 현재 88개국 114인이다.
위원은 1국 1인을 원칙으로 하나 올림픽운동이 왕성한 나라나 올림픽경기대회를 치른 나라는 2인까지 인정될 수 있도록 헌장에 규정하고 있다.
우리나라는 1955년 이기붕(李起鵬)이 첫 위원이 된 후 그의 사망으로 잠시 위원이 없다가 이상백(李相佰)이 위원에 선출되었고, 세 번째로 장기영(張基榮)이 위원에 선출되어 10년 동안 올림픽에서의 한국의 지위를 확립하고, ‘코리아’라는 호칭을 고수하는 데 힘썼으며, 네 번째 김택수(金澤壽)가 위원이 되어 서울올림픽대회 유치에 많은 노력을 기울였다.
다섯 번째로 박종규(朴鍾圭)가 선출되었고, 여섯 번째는 김운용(金雲龍), 일곱 번째는 이건희(李健熙), 여덟 번째는 박용성이 선출되었다. 아홉 번째는 태권도 금메달리스트 문대성, 열 번째는 탁구 금메달리스트 유승민이 선수위원으로 선출되었다. 2019년 열한 번째 위원으로 대한체육회장 이기흥이 선출되었고, 2023년 열두 번째 위원으로 국제빙상경기연맹(ISU) 회장 김재열이 선출되었다.
총회는 매년 1회씩 개최하며 임원선출, 위원선정, 올림픽개최지 결정, 수익금의 배분, 헌장개정 등 올림픽에 관한 중요한 문제들에 대한 최종적인 결정권을 갖고 있다.
집행위원회는 위원장과 부위원장 3인, 위원 5인으로 구성되며, 올림픽경기대회에서 일어나는 규정의 준수확인, 의사일정 조정, 후보자 추천, 행정관리기록 보관, 국제올림픽위원회 규정의 해석 등 비기술적인 논쟁을 조정, 처리하는 업무를 수행한다.
위원회의 재정은 위원의 회비, 증여, 하계올림픽 및 동계올림픽 개최 도시의 의무적인 납입금, 올림픽경기대회에서 얻은 수입, TV 및 방송 중계료 등으로 충당되는데, 올림픽경기대회의 가장 큰 수입원은 주로 텔레비전중계료이다.