지명은 과거 동래 일대에 있었던 거칠산국(居柒山國)에서 유래한 것으로 보이며, ‘거칠산’이라는 이명은 ‘거친 뫼[산]’를 이두식으로 표기한 것이다. 황령산(荒嶺山)은 거칠산[또는 거츨산]을 한자로 음차하거나 의역한 것으로 해석된다.
높이 428m의 황령산은 북동쪽의 금련산[413.6m]과 능선으로 이어져 있어 금련산맥으로 불리기도 하지만, 실제로는 도심에 둘러싸인 고립된 구릉 형태를 이루고 있다. 산의 대부분은 중생대 백악기에 분출한 안산암질로 구성되어 있으며, 정상부는 풍화작용 이후 남은 암괴들이 쌓인 성곽형 토르(tor)를 형성하고 있다. 황령산 북서쪽, 전포동 일대에는 불국사 관입암류에 속하는 구상반려암이 분포한다. 이 암석은 광물이 동심원상의 구(球)를 이루며 나타나는 ‘구상구조’가 특징으로, 1980년 천연기념물로 지정되었고, 부산국가지질공원의 지질유산으로도 등재되었다.
황령산은 풍수지리적으로 금정산 계명봉의 ‘조산(朝山)’에 해당한다. 정상에는 조선 후기 군사 통신망이었던 제2로 직봉(直烽) 노선상의 세 번째 봉수대가 있었으며, 이는 1976년 부산 개항 100주년을 기념하여 복원되었다. 정상 남서쪽 약 400m 지점에는 암괴가 노출된 사자봉이 위성봉으로 솟아 있는데, 이곳은 부산 북항을 조망할 수 있는 경관 명소로서도 가치가 있다.