본래 백제의 매구리현(買仇里縣)이었는데, 신라 경덕왕 때 첨탐(瞻耽)으로 고쳐 뇌산군(牢山郡)의 영현(領縣)으로 삼았다. 940년(태조 23) 임회현으로 바꾸었다가 현종 때 진도에 예속시켰으며, 조선 말기까지 임회현으로 존속하다가 1914년 행정구역 개편 때 부근 지역을 합쳐서 임회면이 되었다.
임회의 치소(治所)는 진도 남쪽해안에 발달하였다. 이곳은 고려시대 이후 삼별초난(三別抄亂)을 위시하여 왜구로 인하여 세 번씩이나 내륙으로 피난을 갔던 적이 있었다.
조선시대에는 굴라포(屈羅浦) 봉수가 이곳의 상당곶(上堂串) 봉수를 지나 점찰산(占察山) 봉수와 연결되었으며, 진산이었던 여귀산(女貴山)에도 봉수가 있었다. 석교리와 용호리 일대에는 지석묘군이 발견되어 이곳에 일찍부터 취락이 발달하였음을 말해준다.