본관은 함열(咸悅). 자는 대가(待價). 아버지는 조지(趙智)이다.
생원으로서 1494년(성종 25) 별시 문과에서 병과로 급제하여, 사간원정언·덕원부사·충청도관찰사·호조참판·대사헌 등을 역임하였다.
1522년(중종 17)에 충청도관찰사를 지낼 때는 당시 정승이었던 남곤(南袞)의 청탁을 물리치며, 큰 소리로 “어찌 정승으로서 남을 위해 청탁하는 짓을 하는가?”하고 청탁한 수령에 대하여 가차없이 하등을 매겼으므로 사람들이 조옥곤을 대단한 청리(淸吏)로 여겼다고 한다.