1888년(고종 25) 파주목사 재임시 전무위원(電務委員)으로 기해전선(畿海電線) 가설에 힘썼다. 1890년 양주목사를 지내고 그 해 12월 한성부 판윤에 임명되었다.
1894년 함경남도관찰사, 1896년 중추원일등의관을 거쳐, 1897년 덕수궁 수리 임무를 맡았으며, 천주교인으로 당시 조선교구장인 뮈텔(Mutel, G. C. M.)주교를 고종에게 소개하여 국호(國號, 大韓帝國)와 연호(年號, 光武) 제정을 돕도록 하였다.
1898년초 법부대신이 되었고 고등재판소장을 겸임하였다. 이해 6월 중추원일등의관이 되었다. 그러나 그 해 9월 법부대신 재직 당시 김홍륙독차사건(金鴻陸毒茶事件)을 처리하는데 있어 왕의 전교를 사칭한 죄로 유십년(流十年)에 처하여졌다가, 1899년 특면(特免)되어 복직되었다.
같은 해 중추원의관·경무사를 거쳐 궁내부특진관이 되었다. 1900년 을미사변을 일으킨 일본을 규탄하는 시무15조를 올렸으며, 같은 해 평리원재판장임시서리가 되어 을미사변과 연루된 안경수(安駉壽)·권형진(權瀅鎭)을 고종에게 아뢰지 않은 채 교형(絞刑)에 처한 죄로 철도(鐵島)에 유배당하였다.
1900년 7월 유배에서 풀려나 이듬해 2월 경상북도관찰사에 복직되었다. 1902년 중추원의관을 거쳐 시종원경·궁내부특진관을 지냈다. 같은 해 6월 재차 평리원재판장임시서리가 되었으며, 평리원재판장 재임시 일로 다시 피소되기도 하였으나 그 해 10월 풀려났다.
1902년 말 탁지부대신임시서리가 되었고, 한성부판윤·시종원경·경무사 등을 두루 역임한 뒤, 1904년 중추원부의장이 되었다. 같은 해 심상진(沈相震) 등이 조직한 보안회(輔安會)에서 부회장을 맡기도 하였다. 그해 7월 보안회가 해체되는 데 일정 부분 관여하였다. 그 뒤 궁내부특진관·시종원경을 지냈으며, 1905년 공진회사건(共進會事件)으로 구속되었다가 이듬해 석방되었다.