본관은 함안(咸安). 초명은 태원(台源), 자는 응삼(應三), 호는 소림(小琳). 황해도 옹진 출신. 아버지는 조용찬(趙鏞燦)이며, 어머니는 문의 박씨(文義朴氏)이다. 어려서 부모를 여의고 도화서(圖畫署) 화원으로 산수화와 어해화(魚蟹畫: 물에서 사는 동물을 그린 그림)를 잘 그렸던 할아버지 조정규(趙廷奎) 밑에서 학문과 그림을 배우며 성장하였다.
28세가 되던 해인 1881년 신식 무기의 제조법과 조련법을 배우기 위하여 중국으로 떠났던 영선사(領選使) 일행의 제도사(製圖士)로 안중식(安中植)과 함께 발탁되어 톈진(天津)으로 건너가 1년 동안 견문을 넓히고 돌아왔다. 귀국 후 도화서에 들어가 조선 마지막 화원이 되었다. 영춘군수(永春郡守)로 있던 1902년에는 고종의 어진 도사(御眞圖寫)에 안중식과 함께 화사(畫師)로 선발되어 화명을 드높였다.
1908년 조선총독부에서 세운 공업전습소(工業傳習所)의 촉탁으로 학생들을 가르치기 시작한 이래 후진 양성에 힘을 쏟기 시작하였다. 특히 1911년 이왕가(李王家)의 후원으로 서화미술원(書畫美術院)이 설립되자 안중식과 더불어 교수로 있으면서, 이용우(李用雨)·오일영(吳一英)·김은호(金殷鎬)·이상범(李象範)·노수현(盧壽鉉)·최우석(崔禹錫)·박승무(朴勝武)·변관식(卞寬植) 등 한국 근대의 전통 회화를 주도하게 되는 화가들을 많이 배출시켰다.
1919년 민족 서화가들을 중심으로 서화협회를 결성, 초대 회장 안중식에 이어 제2대 회장으로 선출되었다. 그러나 1년이 채 못된 1920년 서울에서 죽었다. 1921년 5월 지금의 보성고등학교에서 추모회와 유작전이 크게 열렸다. 그는 여러 분야의 그림을 잘 다루었으나, 특히 산수화와 어해화에 능하였다.
현재 남아 있는 작품들은 대부분 1900년대 이후인 말년의 작품이기 때문에 화풍의 변천과정을 살펴보기가 어려운 실정이다. 대체로 산수화에서는 조선 후기부터 본격적으로 유행하였던 남종화풍에 토대를 두되 북종적인 요소를 가미하여 강직한 화풍을 형성하였다.
그리고 할아버지인 조정규의 화풍을 이어 즐겨 다루었던 어해화들은, 대상의 생동감을 증진시키기 위하여 필치의 활력보다는 정확성에 더 심혈을 기울여 사용한 꼼꼼하고도 날카로운 필선들로 이룩되어 있다.
어해화에서 보여 준 이러한 화풍은 서화미술원 시절 그의 제자들에게로 계승되어 이 분야에 영향을 미쳤다. 안중식과 더불어 조선시대 말기의 전통 회화를 근대 화단으로 이식시키는 데 큰 구실을 하였다.
대표작으로는 간송미술관 소장의 「운산서식도(雲山棲息圖)」, 개인 소장의 「산수도」, 서울대학교 박물관 소장의 「어해도(魚蟹圖)」·「이어도(鯉魚圖)」(1918년) 등이 있다.