본관은 양주(楊州). 자는 한경(漢鏡). 호는 추담(秋潭). 초명은 조휘림(趙徽林). 서울 출생. 조운규(趙雲逵)의 증손으로, 할아버지는 조정현(趙廷鉉)이고, 아버지는 조제만(趙濟萬)이다. 부인은 정기선(鄭基善)의 딸이다.
1828년(순조 28) 왕세자 황감제(黃柑製)에서 거수(居首)하여 전시(殿試)에 직부되었고, 그 이듬해에 생원으로 정시문과에 병과로 급제하였다.
그 뒤 여러 관직을 거쳐 1839년(헌종 5) 충청우도암행어사가 되었는데, 이 때 지방을 제대로 다스리지 못하는 서산군수 송재의(宋在誼) 등 11명의 지방관을 처벌하도록 하였으며, 1854년(철종 5) 대사성에 올랐다.
1860년 이조참판에 취임하였다가 같은 해 형조판서로 영전하였으며, 1864년 교정청당상관이 되어 『동문휘고(同文彙考)』를 속간하였다.
1870년(고종7) 예조판서, 판의금부사(判義禁府事), 이조판서를 지냈으며 이듬해에 공조판서를 지냈다. 1872년에 다시 예조판서와 형조판서를 지냈으며 1874년에 이르기까지 예문관 제학, 홍문관 제학, 형조판서, 판의금부사 등을 역임하였다.
재임 중 최익현(崔益鉉)이 시무(時務)를 논하는 상소에서(1873년 10월) 대원군의 만동묘(萬東廟) 철폐를 비난하고, 국왕의 친정(親政)을 주장하며 대원군의 하야를 요구하자, 시원임대신(時原任大臣)들과 함께 언사(言辭)의 패륜(悖倫)함과 신하의 본분을 망각한 죄를 범했다하여 처벌을 요구, 마침내 제주목에 위리안치(圍籬安置)토록 하였다. 시호는 문정(文靖)이다.