‘여서도(麗瑞島)’라는 이름은 1945년 이후에 붙여졌으며 ‘천혜의 아름다운 섬’이라는 뜻을 지닌다. 또 다른 설에는 고려시대에 제주도 근해에서 대지진이 7일간 계속되더니 해상에 거대한 산이 솟아오르자, 고려의 ‘여(麗)’자와 상서로이 생겨난 섬이라는 뜻의 ‘서(瑞)’자를 합쳐 부르게 된 지명이라고 한다. 일제강점기에는 태랑도(太郎島)라고 불렸다.
동경 127°05′, 북위 34°07′에 위치하며, 청산도(靑山島)에서 동남쪽으로 25㎞ 지점에 있다. 면적은 2.51㎢이고, 해안선 길이는 10.0㎞이다. 다도해 해상국립공원의 소안/청산지구에 포함되어 있다.
지질은 대부분 중생대 대동계 불국사층군 흑운모 화강암으로 구성되며, 일부 신생대 제4기 붕적층이 분포한다.
섬의 모양은 대체로 원형이며 동서남북 각각의 해안에 작은 만이 형성되어 있다. 최고 높이는 352m로 기복이 심하고 경사가 급한 산지가 사방으로 뻗어 내려간다. 해안은 암석 해안이 대부분이며 곳곳에 높은 주1가 발달해 있다. 북쪽 해안 일대에는 집채 만한 바위들이 산재해 있어 독특한 경관을 이루고 있다.
기후가 온난하여 동백나무와 후박나무가 무성하다. 1월 평균 기온은 3.3℃, 8월 평균 기온은 26.3℃, 연 강수량은 1,454.5㎜이다.
2021년 기준으로 인구는 87명(남 47명, 여 40명)이 거주하고 있으며, 세대 수는 59세대이다. 취락은 선착장이 있는 북쪽 해안의 만 주변에 집중되어 있다. 1690년대에 진주 강씨(晋州姜氏)가 처음으로 들어와 거주하기 시작하였다고 한다.
토지 이용 현황은 논 0.047㎢, 밭 0.441㎢, 임야 3.348㎢이다. 주민의 대다수가 농업과 어업을 겸하고 있다. 농산물로는 맥류가 대표적이며, 약간의 쌀 · 콩 · 참깨 · 고구마 등이 생산된다. 동백나무에서 추출하는 주2이 특산물이다. 근해에서는 가자미 · 도미 · 볼락 · 바지락 등이 잡히며, 자연산 김 · 미역 · 파래 등이 채취된다.
교통은 완도에서 청산도를 경유하는 정기 여객선이 운항된다. 공공시설로는 여서도항, 여서치안센터, 여서보건진료소가 있다.
2018년 「가고싶은 섬」 가꾸기 사업 대상으로 선정되었다. 청정한 환경을 보유하고 있어 친환경 이미지로 섬 지역 관광 활성화를 유도하고, 토양과 갯벌에서 생산되는 농 · 수산물의 자원화와 관광 상품 개발이 필요하며 이를 위해 토양과 갯벌 생태계의 보전 등 체계적인 관리가 필요하다.