1961년 5월 영국인 변호사 베넨슨(Bennenson,P.)이 일요주간지 『옵저버』에 기고한 <잊혀진 수인들>이라는 논문이 계기가 되어 영국·아일랜드·서독·스웨덴·프랑스의 시민대표가 런던에 모여 이 기구를 창설하였으며, 런던에 사무국이 있다.
위원회의 수임사항은 다음과 같다. ① 모든 양심수인(Prisoner of Conscience)을 돕는다. 양심수인이란 자신의 신념·피부색·인종·성별·종교 등 때문에 투옥당하고 있는 사람으로서, 폭력을 사용하거나 이를 옹호하지 않는 남녀를 말한다.
② 모든 정치범이 신속하고 공정한 재판을 받을 수 있도록 촉구한다.
③ 모든 수감자에 대한 사형선고와 집행, 그리고 고문과 같은 잔인하고 비인도적인 또는 굴욕적인 처우와 형벌이 가해지는 것을 반대한다.
또한, 이 수임사항을 실천하기 위하여 ① 국제연합을 비롯한 여러 국제기관에서 로비활동을 벌이고, ② 각국 정부를 상대로 활동을 벌이며, ③ 양심수인의 체포와 구금, 또는 고문·처형에 관한 정보를 수집하고, ④ 개개 양심수인을 회원들이 분담하여 탄원서보내기·구호금보내기·사건알리기 등의 지원활동을 벌이며, ⑤ 해마다 양심수인 주간을 설정하여 이 문제에 대한 국제적 관심을 촉구하는 등의 활동을 벌이고 있다.
1999년 현재 162개국에 지부가 설치되어 있으며, 110만 명이 넘는 회원이 있다. 창설 이래 10여 년에 걸친 인권옹호활동의 공로가 인정되어 1977년에는 노벨평화상, 1978년에는 유엔인권상이 수여되었다.
2년마다 개최되는 국제평의회에서 선출한 국제집행위원회가 실질적인 운영을 담당하며, 전 세계에 있는 회원국이 낸 기부금과 기금으로 운영된다.
이 기구는 국제연합경제사회이사회와 유네스코(UNESCO), 그리고 유럽회의(Council of Europe)의 자문단체로 등록되어 있다. 이 기구의 한국지부는 1972년 2월에 창설되었는데, 그 동안 ‘외국인 양심수인들을 위한 탄원서보내기운동’을 적극적으로 벌였다.
1973년에는 ‘고문폐지를 위한 서명모으기운동’을 벌였는데, 우리 나라에서는 1만 명이 서명하였다. 그 밖에도 ‘외국인 양심수인도와주기운동’을 지원하고 있다.
2001년 6월 30일과 7월 1일 국제사면위원회 한국지부 산하 법률·국회·언론 위원회 등 3개 특별위원회는 워크숍을 갖고 국가보안법 개정 등을 요구하는 공동결의문을 채택했다. 이들은 공동결의문에서 ① 유엔인권위 권고에 따른 국가보안법 개정, ② 사형제도 폐지, ③ 국제형사재판소 ‘로마규정’ 준수 등을 요구하였다.
국제사면위원회 한국지부는 2017년 대통령선거 전 다섯 명의 후보에게 한국에서 시급히 해결해야 하는 8대 인권 의제를 전달하고, 이에 대한 후보자의 의견과 공약 반영 여부를 묻고 답변을 받았다. 양심에 따른 병역거부자 처벌 중단과 대체복무제 도입을 촉구하는 ‘옥중 기자회견’, 퀴어 토크, 난민을 위한 콘서트를 진행하고 한국에서 경찰의 집회 대응에 대한 보고서를 발표했다.