산방산(山房山)이라는 이름은 남쪽 암벽 해발 145m 지점에 위치한 산방굴(山房窟)에서 유래했다.
산방굴은 해식동굴로 해석되어 제주도 융기의 증거로 제시된 바 있으나, 주변 암벽에 발달한 타포니의 존재로 보아 풍화 동굴일 가능성이 크다. 산방굴 입구와 탐방로 주변에는 풍화에 따른 낙석을 방지하기 위한 철망이 설치되어 있다. 산방산은 제주목사 이익태의 「탐라십경도(耽羅十景圖)」에 처음 ‘산방’으로 집경(輯景)된 이후, ‘영주십경(瀛洲十景)’의 하나인 산방굴사로 이어지며 제주도를 대표하는 경관으로 손꼽힌다. 이에 따라 2011년 국가지정문화재[현, 국가지정문화유산] 명승으로 지정되었고, 산방산 암벽 식물 지대는 희귀식물인 지네발란의 자생지로 인정받아 1993년 천연기념물로 지정되었다.