하조도(下鳥島)에서 남서쪽으로 14㎞ 지점에 있으며, 진도군 임회면 해안으로부터 남서쪽으로 26㎞ 떨어져 있다. 동거차도(東巨次島) · 윗대섬 등과 함께 거차군도(巨次群島)를 이룬다. 동쪽에 대마도(大馬島) · 관매도(觀梅島), 남서쪽에 맹골군도(孟骨群島)가 있다. 동경 125°52′, 북위 34°15′에 위치한다. 면적은 2.29㎢, 해안선 길이는 11.0㎞이다.
진도군 조도면에 속한 군도를 ‘거차군도(巨次群島)’라고 하는데, 거차수도(巨次水道)의 서남쪽에 있는 서거차도(西巨次島)와 동거차도(東巨次島)를 비롯하여 윗솔섬, 아랫솔섬, 솔섬, 북섬, 항도 등이 이에 속한다. 백제시대에 제주를 내왕할 때 선박들이 이곳을 지나갔다 하여 거차군도라 불렀으며, 거차군도의 서쪽에 있으므로 서거차도라 불리게 되었다. 또한 거차도는 백제시대부터 어획 조업에 긴요한 지점으로, 무역선과 여객선이 ‘거차(去次)한다’는 뜻에서 '거차도’라 하였다는 설과 거차군도 일대 해역의 ‘물길이 거친 곳’이란 뜻을 담고 있다는 설도 있다.
1600년대 말 한양 조(趙)씨 조천배의 선조가 하조도 육동에서 처음 이곳으로 입도하였다. 그 후 1700년대 초에는 밀양 박씨, 김해 김씨, 전주 이씨, 인동 장씨 등이 들어왔다. 이들은 하조도, 상조도, 관매도에서 들어온 사람들의 후손이라고 전해진다 1914년 행정구역 통폐합 때 서거차도리라 하였다.
섬 전체가 반월형(半月型)으로, 지질은 대부분 산성 화산암류로 이루어져 있다. 낮은 산지(최고높이 136m)가 북동쪽 해안 가까이에 분포하며, 그 밖의 지역은 완만한 경사지가 대부분이다. 해안은 암석 해안으로 높은 해식애(海蝕崖)가 곳곳에 발달하여 있다. 남동쪽 해안은 돌출한 갑(岬) 사이에 깊숙한 만이 있고, 만의 입구에는 방파제 구실을 하는 섬들이 위치하여 천연의 양항(良港)을 이루고 있다.
조도군도와 서거차도 인근 지역의 지질은 진도 서부 해안으로부터 광범위하게 분포하고 있는 중생대 백악기의 화산암류이다. 주요 암상으로는 유문암 및 유문암질 응회암이며, 경사가 급한 산지 지형과 독특한 해안 지형이 형성되는데 큰 영향을 준 것으로 판단된다. 서거차도 토양 특성은 유문암류 풍화층에 기인한 잔적토로 구성되어 있으나 기반암의 노출이 심하여 토양층의 발달이 미약하다. 한편 사면에서 운반된 풍화토는 경사가 완만한 산록과 곡저부에 퇴적되어 붕적토와 충적붕적층을 형성하고 있다.
서거차도의 주요 식생은 곰솔 군락으로 관목층은 주로 졸참나무, 진달래가 출현하고 있으며, 사스레피나무, 작살나무, 자금우, 마삭줄, 자귀나무, 청미레덩굴 등도 기록되었다. 민가와 휴경지에 칡 군락, 고사리 군락, 개망초 군락, 망초 군락, 환삼 덩굴, 억새, 수크령 군락 등이 출현하였다.
서거차도에 서식하는 육상 동물은 인근의 조도와 유사할 것이다. 곤충은 강도래목, 나비목, 날도래목, 노린재목, 딱정벌레목, 매미목, 메뚜기목, 벌목, 잠자리목, 파리목, 하루살이목 등 11목 260종이 분포하는 것으로 알려져 있다. 조류는 88종이 관찰된다. 법정 보호종은 총 9종이며 이 중 멸종위기Ⅰ급은 노랑부리백로이다. 멸종 위기Ⅱ급은 6종이다. 멸종 위기Ⅱ급은 노랑부리저어새, 물수리, 붉은배새매, 새호리기, 큰기러기, 팔색조이다. 천연기념물은 소쩍새(324호), 황조롱이(323호)가 알려져 있다.
진도 지역은 지리적으로 다도해의 중심부에 위치한 해양성 기후 지역에 속한다. 연평균 기온이 13∼14℃이며 최난월(8월)의 평균 기온은 25∼26℃, 최한월(1월) 평균 기온은 1∼3℃이다. 진도 일대는 비교적 강수가 많은 지역에 속하며 하계다우형 계절풍 기후 특성을 보인다. 연평균 강수량은 1200∼1500mm 정도이며 진도는 섬 지방이므로 바다의 영향을 많이 받아 수분 공급이 충분하므로 강수량이 많다. 그러나 여름철에 비가 적게 내리고 태풍도 내습하지 않을 때는 가뭄으로 저수지의 바닥이 드러나기도 한다. 강수 일수는 연간 110∼120일 내외이고 상대 습도는 연평균 76∼78%로 역시 높은 편이다. 연평균 풍속은 2∼4m/s로 다른 기후 지역보다 강하고 일조율은 47∼61%이다.
2022년 12월 말 기준, 인구는 99명(남 48명, 여 51명)이고 세대수는 62호이다. 서거차도의 주민들은 농업과 어업을 겸하고 있다. 경지 면적은 논 5.0㏊, 밭 30.2㏊, 임야 22ha이다. 밭농사 중심의 농업과 연승 중심의 어선어업, 자연산 해조류 채취를 생업으로 하고 있다. 주요 농산물은 고구마이고 쌀, 보리, 마늘 등이 소량 생산된다. 근해에서는 삼치, 우럭, 병어, 붕장어 등의 어류가 잡히고, 해조류는 자연산 돌미역과 톳이 주를 이룬다. 주 소득원이자 특산물은 낭장망으로 잡는 멸치와 자연산 미역이다.
서거차도는 다도해 해상국립공원에 속하며, 대흑산도의 흑산항과 함께 어업 전진기지로 지정되었다. 선착장의 물양장 부근 녹지 공간에 ‘서거차항 준공기념비’가 서 있고, 물양장 가운데에는 마을 표지석이 세워져 있다. 북쪽과 서쪽의 해안선은 단조롭지만 남쪽과 동쪽의 해안은 소규모의 만(灣)이 형성되어 있다. 만 입구의 작은 섬들이 방파제 역할을 한다. 모래사장은 협소하고 해안은 암석 해안으로 절벽을 이룬다. 서거차도는 육지에서 멀리 떨어져 있는 섬이지만, 급수 상태가 양호한 편이다. 간이 상수도가 설치되어 있으며, 우물도 사용한다. 서거차도 주민들의 주 생활권은 목포시이며, 부 생활권은 하조도이다.
진도와 목포항에서 출발하는 서거차항까지 정기 여객선이 운행되고 있다. 교육 기관으로는 조도초등학교 거차분교가 있다. 공공 기관으로는 조도면 거차출장소, 서거차해경파출소, 서거차보건진료소가 있다. 1981년 12월 23일에 제14호 국립공원으로 지정(건설부 고시 478호)되어 섬 전체가 다도해 해상국립공원으로 되었다.
서거차도에서 멀지 않은 남해는 동지나해로 근해어장의 중심지이다. 이 때문에 일제강점기인 1930년대에는 일본어선을 중심으로 파시가 열렸다. 1937년 당시 1종 요리점이 들어서고 여인들이 몰려들었다. 당시 일본 이주자들이 많아 윗마을 일대에는 소유주가 일본 사람 이름 그대로 남아 있는 집터가 11필지나 있다. 광복과 더불어 일본 어선단이 물러가며 항구는 다시 한산해졌다. 그러다 1969년 삼치잡이 어선이 300여 척 몰리며 다시 파시가 형성되었다. 이때 서거차도 사람들은 술보다 식수 파는 재미로 살았다고 한다.
이 해역의 중요성이 대두되며 서거차도에 해군 기지가 들어섰다. 한일국교 정상화와 맞물리며 도내 4대 어업기지의 한 곳으로 선정되는 등 섬의 발전이 이루어졌다. 서거차출장소가 들어서고 방파제와 물양장 시설 공사를 맡은 남화토건이 사무실이 문을 열기 시작하면서 주민들도 늘어났다. 그러나 1984년 남화토건 현장사무실이 철수하고 방파제와 물양장 시설을 제외한 냉동, 급수, 제빙 시설을 갖추지 못한 상태에서 삼치마저 흉어를 이루면서 쇠락의 길을 걸었다.