1269년(원종 10) 동지추밀원사(同知樞密院事)로 임연(林衍)의 원종폐위사건에 가담하지 않았으나 위사공신(衛社功臣)이 되었다. 그리고 그의 내향(內鄕: 출신지)인 배주(白州: 지금의 배천)는 지부흥군사(知復興郡事)가 되었다.
임연의 전횡이 심해지자 조야가 모두 조오에게 관심이 쏠렸다. 이때 임연을 제거하려는 장군 김문비(金文庇)가 아들 조윤번(趙允蕃)과 함께 동조할 것을 청하였으나 이를 거부하였다.
김문비가 일이 성사되지 못할 것을 깨닫고 도리어 조오를 임연에게 무고함으로써 아들 조윤온(趙允溫)과 함께 흑산도에 유배되고, 조윤번과 사위인 비서랑(秘書郎) 장호(張顥) 등은 모두 죽임을 당하였다. 주위의 신망을 받아 능히 임연을 제거할 수 있었으나, 두려워한 나머지 거사하지 못하고 오히려 화를 당하였다.
『고려사』 반역열전 임연전(林衍傳) 및 「나익희묘지명(羅益禧墓誌銘)」의 내용을 통해서, 조오(趙璈)를 조문주(趙文柱)와 동일인물로 추정하는 견해도 제기되어 있다.