임술삼고변은 1682년(숙종 8)에 경신환국으로 정권을 잡은 서인 김석주·김익훈 일파가 남인들을 소탕하기 위하여 함정 수사로 3건의 역모를 고발한 사건이다. 김석주는 남인들의 역모를 고발한 익명서가 나오자 김익훈 등을 통해 남인들을 감시하면서 함정 수사하여 증거를 수집하였다. 김환은 허영·허새를 김익훈은 유명견을 김중하는 민암 등을 역모로 고발하였다. 이 중 허영·허새는 역모를 자백하였으나 나머지 2건은 전혀 근거가 없다고 밝혀졌다. 때문에 이 사건은 부도덕한 정치 공작으로 비판을 받았다. 기사환국 때 남인들의 보복이 이어졌다.
1680년(숙종 6) 경신환국(庚申換局)으로 정권을 잡은 서인 김석주(金錫冑) · 김익훈(金益勳) 등은 그 다음해 남인들의 역모에 관한 유언비어를 듣고 그들을 소탕하기 위해 기찰(譏察, 함정수사)에 나섰다. 그들은 장기간의 공작 끝에 1682년(숙종 8) 10월 전 병사 김환(金煥)을 시켜 남인 허새(許璽)와 허영(許瑛)의 반역 음모를 고발하였고, 어영대장 김익훈은 전 수원부사 유명견(柳命堅)의 역모를 고발하였으며, 김중하(金重夏)는 남인 중신이었던 민암(閔黯) 등의 모반을 고발하였다.
국문 결과 허새와 허영은 역모를 자백하였으나, 유명견과 민암의 일은 전혀 근거가 없었다. 이에 김환은 공신이 되었고, 전익대(全翊戴)와 김중하는 거짓 고발 죄로 처형되었다. 이를 ‘임술삼고변(壬戌三告變)’이라고 하였다.
제2차 예송에 승리한 남인들은 1674년(현종 15)부터 정권을 잡았으나, 1680년(숙종 6) 경신환국으로 일망타진되다시피 하고 서인들이 정권을 잡았다. 1681년(숙종 7) 8월, 서울의 생원 · 진사시 초시의 시권(試券, 답안지)에 남인들의 역모를 고발하는 익명서가 포함되어 있었다. 이에 숙종은 외척인 이조판서 김석주에게 남인들의 동태를 정탐하도록 하였고, 김석주는 전 병사 김환을 시켜 남인들을 기찰하게 하였다.
다음해인 1682년(숙종 8) 김석주가 우의정으로 승진하여 중국에 사신으로 가게 되자, 남인 기찰의 일을 어영대장 김익훈에게 인계하였다. 김익훈의 지시를 받은 김환은 남인 허영 · 허새 등을 꿰어 함께 거사할 것처럼 하면서 증거를 수집하였고, 전익대는 친분 관계가 있던 유명견을 기찰하였으나 증거를 잡지 못하였다.
1681년(숙종 7) 8월 이후, 장기간의 기찰 끝에 1682년(숙종 8) 10월 어영대장 김익훈은 김환을 시켜 남인 유생 허새와 군관 허영의 반역 음모를 고발하게 하고, 자신은 전익대의 정탐을 근거로 하여 남인의 명사였던 전 수원부사 유명견의 역모를 고발하였다. 또 무과 출신인 김중하는 남인 중신이었던 민암 등 여러 사람의 모반을 고발하였다. 국문이 시작되자 허새와 허영은 과연 역모를 자백하였고 증거도 있었으나, 유명견과 민암의 일은 전혀 근거가 없었다.
이에 김환은 공신이 되었고, 전익대와 김중하는 거짓 고발 죄로 처형되었다. 김익훈은 유명견을 고발하였으니, 그 자신이 공신이었고 책임을 김석주와 전익대에게 전가하였으므로 파직하여 ‘문외출송(門外出送)’하는 가벼운 벌을 받았다. 이 때문에 조지겸(趙持謙) · 한태동(韓泰東) · 박태유(朴泰維) · 유득일(兪得一) 등 서인 소장층 명사들이 김익훈을 탄핵하여 훈척들과 대립하게 되었다.
‘임술 삼고변’은 3건의 고발 중 2건은 무고로 밝혀지고 허영 · 허새의 역모 1건 만이 사실로 인정되었으나, 그마저도 함정수사에 의해 꿰인 것이었다. 이 때문에 기찰을 주관하였던 김석주와 김익훈 등의 공신들은 서인 내부에서 비난과 탄핵을 받았다.
1680년의 경신환국으로 타격을 받았던 남인들은 ‘임술삼고변’의 국문 과정에서 많은 사람들이 죽거나 유배되었다. 그러나 이 사건은 일부 공신 세력의 기찰에 의해 진행되었으므로 부도덕한 정치 공작으로 비판을 받았다. 이 때문에 1689년(숙종 15) 기사환국(己巳換局)이 일어나자, 남인들로부터 혹심한 보복을 받게 되었다.