본관은 풍양(豊壤). 자는 경대(景大), 호는 손재(損齋). 아버지는 좌의정 풍릉부원군(豊陵府院君) 조문명(趙文命)이며, 어머니는 안동김씨(安東金氏)로 교관 김창업(金昌業)의 딸이다. 영의정 조현명(趙顯命)의 조카이며, 효순왕후(孝純王后)의 오빠이다.
1739년(영조 15) 우의정 송인명(宋寅明)의 천거로 세자시강원에 등용되었다. 그 뒤 홍산현감(鴻山縣監)으로 있으면서 춘당대시(春塘臺試)에 병과로 급제, 승정원승지로 특진되었고, 이어 경상도관찰사·이조판서 등을 거쳐 1752년 우의정이 되어 『천의소감(闡義昭鑑)』의 편찬을 주장(主掌)하기도 하였다.
1759년 돈녕부영사로 있으면서 계비(繼妃)의 책립을 반대한 죄로 임천으로 귀양갔다가 이듬해에 풀려나 춘천에 은거하였다. 1762년장헌세자(莊獻世子)가 화를 입게 되자 그를 구하려고 서울로 올라왔으나, 오히려 역모로 몰려 종성으로 유배, 사사되었다가 1775년 신원(伸寃: 억울하게 입은 죄를 풀어줌)되었다. 저서로 『손재집』 15권이 있다.