조선올림픽위원회는 북한의 국제올림픽위원회(IOC) 참여와 올림픽대회 참가 관련 업무를 담당하기 위하여 설립되었다. 북한의 국제올림픽위원회 가입은 1957년불가리아 소파아에서 열린 총회에서 잠정적으로 인정되었고, 1963년 바덴바덴 IOC총회에 회원국으로 정식 가입하였기 때문에 1957년 이전에 설립된 것으로 추정된다.
1964년 오스트리아 인스브루크에서 열린 제9회 동계올림픽대회부터 독자적으로 참가하였고, 1969년폴란드에서 열린 제68차 IOC총회에서 ‘조선민주주의인민공화국’이라는 정식 국가 명칭으로 승인받았다. 이후 1972년 독일 뮌헨올림픽대회부터 정식 출전하였다.
이 단체의 역할은 북한의 국제올림픽대회 참가와 국제올림픽위원회 회원국으로서의 활동을 주관하는 것이다. 또한 남북대화를 통한 남북단일팀 구상이 실현되면서 남북 스포츠 교류와 남북 체육회담을 주도하였다. 2002년부산 아시안게임에 대규모 선수단과 응원단의 참가를 성사시켰고, 2003년대구 유니버시아드에 선수단과 응원단을 파견하였다. 특히 2004년 아테네올림픽에 남북 선수단의 개회식·폐회식 동시 입장과 아테네올림픽 개막식부터 북한 주민이 국제경기대회를 시청할 수 있도록 남한에 북한 방송의 올림픽 중계를 지원하도록 요청하기도 했다.
조선올림픽위원회는 통상 국가체육위원회 위원장이 겸하도록 되어 있는데, 조직은 국가체육위원회 위원장을 겸임하는 위원장 1인, 실무책임자인 서기장 1인, 부위원장 16명, 부서기장 5명, 서기 4명, 집행위원 1명으로 구성되어 있다.