1674년(현종 15) 제2차 복상 문제로 송시열(宋時烈)이 삭직당하자, 송시열을 적극 옹호하였다. 평소에 송시열을 모르는 사이였지만, 분개하면서 선비들을 설득해 상소하여 송시열의 원통함을 호소하다가 영광에 유배되었다. 적소에 5년 동안이나 있으면서도 문밖을 나가지 않았으며 『퇴계집』을 읽고 느끼는 바가 있었다고 한다.
1678년(숙종 4) 귀양에서 풀려나오자 학행으로 천거되어 1680년 창릉참봉에 제수되었으나 나아가지 않았다. 이듬해 동몽교관이 되었고, 1684년 형조좌랑을 거쳐 용안현감이 되었다가 진위령을 지내고 삭녕군수로 부임하였다.
1689년 기사환국으로 이이(李珥) · 성혼(成渾)을 문묘로부터 출향(黜享)하려 하자 관직을 버리고 진위(振威)로 돌아왔다. 생활이 매우 곤궁했으나, 개의치 않고 날마다 『대학』 · 『중용』을 외우며 ‘격물궁리(格物窮理)’ 공부에 전심하였다.
1694년 갑술옥사가 일어나자 다시 김제군수가 되고, 이어 사복시정 · 장악원정을 지냈다. 그 뒤 한성부우윤 · 형조참판을 제수받았으나 모두 나아가지 않았다. 1717년 상신 이이명(李頤命)이 독대(獨對)를 전횡하자 상소해 그 잘못을 극론하였다.
고향에 돌아온 뒤부터는 성리학에 전심했는데, 그 중에서도 『대학』을 가장 깊이 연구하였다. 만년에는 예학에 힘을 쏟아 중국과 우리나라의 고금 예설을 두루 연구하였다. 저술로는 경설을 논한 것과 예에 관하여 논답한 것 등 20여 권이 있다. 또한 『악원고사(樂院故事)』 1책이 있는데, 이는 묘악(廟樂)의 전고(典故)를 설명하고, 악장(樂章)에 관한 여러 사람의 논의를 수집해 엮은 것이다.
1722년(경종 2) 아들인 호조판서 이태좌(李台佐)의 추은(推恩)에 의하여 이조판서에 추증되었다가 이듬해에 다시 의정부좌찬성이 내려졌다. 영광의 백산서원(柏山書院)과 김제의 용암서원(龍巖書院)에 제향되었다. 시호는 문경(文敬)이다.