본관은 풍양(豊壤). 자는 언신(言愼). 개명은 조시민(趙時敏). 조상변(趙相抃)의 증손으로, 할아버지는 조기수(趙祺壽)이고, 아버지는 조적명(趙迪命)이며, 어머니는 송징오(宋徵五)의 딸이다.
1737년(영조 13) 별시문과에 병과로 급제한 후 1741년 소시(召試)를 통하여 서지수(徐志修)와 함께 예문관검열에 임명되었으나 영상(領相)·좌상(左相)과 친척의 혐의가 있다고 하여 체직되었다. 다음해 정언으로 등용되어 이후 수찬·부교리·교리·겸문학·헌납·필선·사간 등 삼사의 직을 두루 거쳤다. 1745년 부수찬으로 있으면서는 임금의 지나친 거조에서 나온 하교는 거두어들일 것을 상소하였다.
1749년 옹주혼도감(翁主婚都監)으로 수고하여 가자(加資)되었다. 이 후 승지를 거쳐 1752년에는 대사간에 올랐으나 1755년김일경(金一鏡)의 잔당인 심정연(沈鼎衍)과 함께 반란을 모의한 신치운(申致雲)의 무고로 거제도에 정배되었다가 1763년에야 풀려났다. 1764년과 1765년 두 차례에 걸쳐 영의정 홍봉한(洪鳳漢)의 서용 요청이 있었으나 사헌부 등에서 반대하여 끝내 서용되지 않았다.