동경 126°4′, 북위 34°28′에 위치하며, 하조도(下鳥島)에서 북쪽으로 20.5㎞ 지점에 있다. 면적은 6.84㎢이고, 해안선 길이는 18.5㎞이다. 조도면 해역에서 유일하게 다도해해상국립공원 지구에서 제외된 곳이다. 가사도와 그 주변에 있는 주지도·양덕도 등의 무리를 가사군도라고 한다.
대리(大里) 마을 앞에 있는 당산(堂山)이 마치 부처의 옷과 같다 하여 가사도(袈裟島)라고 부르게 되었다고 한다. 또는 섬의 모양이 가새(가위) 형국이어서 유래하였다고도 한다.
지질은 산성화산암류와 능주층군, 그리고 중성화산암류로 구성되어 있다. 최고봉은 높이 180m 정도이며, 대부분의 해안은 암석해안을 이룬다. 특히, 섬의 북서쪽 해안은 급경사의 암벽이 발달해 있으나, 남서쪽 해안은 사빈해안을 형성하고 있다. 동북쪽에 위치한 만은 간석지가 넓게 발달하여 제방으로 막아 농경지와 염전으로 이용되고 있다.
1월 평균기온은 1.7℃ 내외이고, 8월 평균기온은 26.4℃ 내외이다. 연평균강수량은 1,350㎜이다.
인구는 303명(남 156명, 여 147명)이며, 세대수는 165세대(2010년)이다. 취락은 섬 중심지인 가사·돌목·궁항 등지에 집중되어 있으며 가사 마을의 인구가 가장 많다.
토지이용 현황은 논 0.28㎢, 밭 1.14㎢, 임야 4.22㎢이다. 주요 산업은 농업과 농어 겸업이다. 가장 중요한 농산물은 고구마이며, 그밖에 약간의 쌀·보리·콩·마늘·유채 등이 생산된다.
근해에서 멸치·미역·장어 등이 잡히며, 김·미역·톳 등의 양식업이 이루어지고 있다. 봄과 여름에는 제주 난류를 따라 북상하는 난류성 어족이 증가하여 수산 중심지를 이루기도 한다. 섬의 남쪽에는 가사 등대가 있고, 북쪽에는 고령토 광산이 있다.
섬 동쪽에 있는 2개의 선착장을 통하여 매일 여객선이 운항된다. 진도서초등학교 가사도분교장과 조도면출장소가 있다.