본관은 함안(咸安). 아호는 만우(晩愚). 경상남도 함안 출신. 아버지는 조용돈(趙鏞惇)이며 어머니는 안부봉(安夫奉)으로 맏아들이다. 그의 아버지는 한학에 조예가 깊은 선비였으며 부농이었다. 그는 어려서부터 서당에서 한문을 배웠다. 15세 때 하정옥(河貞玉)과 결혼하였다.
중동학교(中東學校) 초등과와 협성실업학교(協成實業學校)를 각각 수료하고, 19세 때 중앙고등보통학교(中央高等普通學校)에 입학하였으나 1926년 4학년 2학기 때 6·10만세사건으로 중퇴하였다. 그 뒤, 일본에 건너가서 1928년에 도쿄대학 법정대학에 입학하여 1935년에 동경대학 경제학부를 졸업하였다.
그 뒤, 귀국하여 1942년에 군북산업조합을 인수하여 군북산업주식회사(郡北産業株式會社)를 설립하여 정미업을 운영하였다. 1947년에는 군북산업주식회사 사장직을 다른 사람에게 맡기고 상경하여, 1948년 이병철(李秉喆)과 공동출자로 삼성물산공사(三星物産公司)를 설립하여 부사장으로 취임하였다.
이후 삼성물산 부사장, 제일모직 부사장, 제일제당 사장을 역임하면서 삼성그룹에 종사하였다. 그러나 1962년 9월 그는 삼성그룹을 떠나 효성물산주식회사를 맡아 독자경영에 나섰다. 효성물산주식회사는 1957년 삼성물산이 정부보유 달러의 공매에 복수로 참여하기 위하여 만든 무역회사이다.
효성물산주식회사는 조선제분(朝鮮製粉)을 인수하여 성공하였으나, 1966년에는 제분업에서 손을 떼고 한국타이어와 대전피혁(大田皮革)을 인수하는 등 사업을 확장하기 시작하였다.
1966년에는 동양나일론을 설립하였고, 이어서 한일나일론을 인수, 합병하였다. 1973년에는 동양폴리에스터를 설립하였고, 그 해에 동양염공(東洋染工)을 설립하는 한편 피혁원단 및 제품생산을 위하여 동성(東星)과 대성(大星)을 각각 설립하였고, 1975년에는 한영공업(韓永工業)을 인수하여 효성중공업으로 개편하였다.
1976년 효성물산주식회사는 종합무역상사로 지정받았다. 1977년에는 원미섬유(元美纖維), 1978년에는 대성목재(大成木材)를 인수하였다. 1979년에는 효성금속과 효성알미늄(울산알미늄)을 인수하였다. 효성그룹은 1970년 중반부터 10대 재벌로 부상하였다.
그는 효성그룹 회장 이외에 재단법인 배명중고등학교 이사장, 전국경제인연합회 부회장 등을 역임하였으며, 인화(人和)를 경영이념으로 하였다.