높이 1,436m. 태백산맥의 줄기인 중앙산맥에 속하는 산으로서 북쪽에는 점봉산(點鳳山, 1,424m)·가칠봉(加漆峰, 1,165m), 서쪽에 가마봉(可馬峰, 1,192m), 남쪽에 맹현봉(孟峴峰, 1,214m), 동쪽에 응복산(鷹伏山, 1,360m) 등이 솟아 있다.
북쪽 사면에서 발원한 수계(水系)는 북쪽으로 흘러 방동리에 이르러 진동리 부근에서 흘러오는 여러 수계와 합류하여 서쪽으로 흐르다가 현리에서 소양강의 지류인 내린천(內麟川)으로 흘러든다.
한편 남쪽 사면을 흘러내리는 수계는 계방천(桂芳川)에 모여 광원리에서 자운천(紫雲川)과 합류한 뒤, 내린천으로 흘러든다. 산정부에서 북서쪽 사면은 비교적 평탄하나 동쪽과 남쪽 사면은 급경사로 웅장한 산세를 이룬다.
방대산 서쪽으로는 인제∼평창을 연결하는 31번 국도가, 북쪽으로는 418번 지방도가 지나고 있다. 부근에는 전국적으로 널리 알려진 방동약수(芳東藥水)가 있다.