본관은 한양(漢陽). 자는 호연(浩然), 호는 금재(琴齋). 아버지는 부사 조광언(趙光彦)이며, 어머니는 유제(柳悌)의 딸이다. 학자이며 대사헌을 지낸 광조(光祖)가 바로 그의 족숙(族叔)이다.
소년시절부터 안처겸(安處謙)과 서로 좋아지내다가, 뒤에 그의 이질서(姨姪壻)가 되었다.
1521년(중종 16) 안처겸이 송사련(宋祀連)에 의하여, 기묘사화를 일으킨 심정(沈貞)·남곤(南袞) 등의 숙청과 경명군(景明君: 성종의 열째아들) 이침(李忱)의 추대를 모의하였다는 무고를 받고 국문을 당할 때(辛巳誣獄), 들것을 메는 하인으로 변장하고 옥문에 출입하면서 안처겸의 안부를 탐문하였다.
송사련이 무고한 사람 가운데 그의 이름도 들어 있어 이 때문에 혹독한 형장(刑杖)을 받고 강진으로 귀양갔다가 19년 만에 풀려났다. 뒤에 좌찬성에 추증되었다. 본디 학식은 그리 넉넉하지 않았으나 천성이 매우 명석하였다. 시호는 정익(貞翼)이다.