이어 대사간·대사헌을 여러 차례 지냈는데, 1650년이경억(李慶億)이 왕에게 여색을 멀리하라고 건의하다가 미움을 사자 이를 적극 신구(伸救)하다가 파직되어 임천(林川)으로 귀양갔다. 이 후 김육(金堉) 등의 신구로 이듬해에 풀려났다. 1651년 동지중추부사(同知中樞府事)가 된 뒤 대사간·동지성균관사(同知成均館事)·대사헌을 거쳐 이조참판이 되었으나, 판서인 정세규(鄭世䂓)를 비방하다가 호당(護黨)의 혐의로 영암으로 귀양갔다가 뒤에 강계로 옮겨졌으나 이듬해 풀려났다. 1653년 대사성이 되고, 곧 이어 대사헌과 좌부빈객(左副賓客)까지 겸하였다. 그러나 다시 서원리(徐元履)와 뜻이 맞지 않아 다투다가 종성부사로 밀려났다. 성균관 유생 및 좌의정 이시백(李時白) 등의 간청으로 동지중추부사로 전임되어 부임한 지 얼마 되지...

또한 예조판서 재직 중 최익현(崔益鉉)의 대원군 탄핵상소가 있자, 호조판서 김세균(金世均) 등과 연명상소하였다. 최익현의 상소 중 국왕에게 개혁을 건의하는 논의가 없다고 한 것은 자신들의 죄였으므로, 처벌을 바란다고 하여 월봉3등지전(越俸三等之典)에 처하여졌다. 이듬해 전라도관찰사로 임명되어 당시 극심한 수재로 전주 등 각읍의 민호(民戶)가 피해가 많으므로, 각종 세납물의 상납 기일을 늦추어달라는 장계를 올렸다. 또 전라도에 면포가 부족하므로 병조의 각 군문(軍門)과 각 아문의 번포(番布)를 돈으로 대납할 수 있도록 하여달라는 장계를 올리는 등 선정을 위하여 힘썼다. 1876년 사헌부 대사헌이 되었다. 시호는 문헌(文憲)이다.

이어 경직(京職)으로 복귀하여 대사간·부제학·대사성 등을 지낸 뒤 1651년(효종 2)에는 이조참의로서 『인조실록(仁祖實錄)』의 편찬에 참여하였다. 다시 대사간이 되었으며, 이어 대사성·대사헌·이조참판·강원도관찰사를 역임하였다. 1660년(현종 1) 호조참판을 지내고 이듬해 다시 대사헌이 되었다. 이 때 예론(禮論)이 일어나 남인과 서인의 대립이 본격화하자 남인인 권시(權諰)와 조경(趙絅)을 비호하는 소를 여러 차례 올렸다. 1663년 병조참판으로 전임되었으나, 남인의 실세(失勢)를 보고 스스로 사직하였다. 이듬해 다시 한성부우윤으로 재기용되었고, 형조·예조참판, 한성부좌윤을 역임한 뒤 1674년 기로소(耆老所)에 들어갔다. 판서에 추증되었다.