본관은 양주(楊州). 자는 백고(伯高), 호는 신선당(信善堂). 영중추부사 조말생(趙末生)의 5대 손으로, 조선(趙選)의 증손으로, 할아버지는 조수견(趙壽堅)이고, 아버지는 조방좌(趙邦佐)이며, 어머니는 증우의정 신형(申泂)의 딸이다.
1531년(중종 26) 소과를 거쳐 1535년 별시 문과에 병과로 급제, 검열·사서·경차관(敬差官)·사인·응교·전한·직제학 등을 지내고, 1546년(명종 1) 위사원종공신(衛社原從功臣) 1등에 책록되면서 동부승지·좌승지에 이르렀다.
이듬해 도승지에 오르고, 1548년 광주목사(光州牧使)·호조참판·대사헌을 거치면서 성절사(聖節使)로 명나라에 다녀왔다.
1549년 함경도관찰사, 1551년 한성부좌윤, 이후 강원도관찰사·한성부우윤, 예조와 이조의 참판을 역임하고, 1559년 한성부판윤, 이듬해 형조판서, 1561년 동지중추부사·우참찬, 1566년 공조판서를 역임하였으며, 이듬해 지중추부사로 치사(致仕)하였다.
삼조(三朝)에 역사(歷仕)하기 40년에 물려받은 집 한칸을 겨우 지켰고, 죽은 뒤에는 상을 치를 돈이 없어 부의로 겨우 염습하였을 정도로 청백하였다 한다. 서경덕(徐敬德)과는 동년진사(同年進士)로, 조언수의 경학(經學)을 매우 높이 여겨 함께 진사가 된 것을 늘 자랑으로 생각하였다.
또, 중국에 사신으로 갔을 때에는 조언수의 덕스러운 용모를 흠모하여 예부상서(禮部尙書)가 사사로이 초치하여 『사서구결(四書口訣)』을 선물로 주기도 하였다. 시호는 정간(貞簡)이다.