본래 신라 초기에 평서산현(平西山縣) 또는 서평현(西平縣)이었으나, 경덕왕 때평산현으로 고쳐 남해군(南海郡)의 영현(領縣)이 되었다. 고려 초 왜구의 침입으로 이 지역이 폐허가 되기도 하였다.
조선시대에는 전라좌수영을 방어하는 외곽 방어기지로서 큰 비중을 차지하였다. 수군만호(水軍萬戶)가 주재하는 평산포영(平山浦營)으로서 둘레가 1,500척이 넘는 석성이 있었으며, 남쪽 소흘산(所訖山)의 봉수가 전라남도 여수의 돌산도(突山島)와 연결되었다.
임진왜란 때 이순신(李舜臣)의 해상작전에서 평산포는 중간 연락기지로 큰 역할을 하였다. 지금의 남면 평산리이며, 지형상으로는 평산포가 비교적 가파른 산기슭에 자리잡고 있는데, 동북쪽의 오리천(五里川)이 만든 하천의 평야지역을 피한 것은 예로부터 왜구의 침입이 잦아 초기부터 군사취락의 성격을 가졌던 것으로 본다.
육상교통은 둔전리의 가파른 고갯길을 돌아 남해현청(南海縣廳)과 연결되었으므로 돌산도나좌수영 지역과 뱃길로 내왕이 많았던 것으로 본다.