본래 신라의 지품천현(知品川縣)이었는데, 경덕왕 때 산음(山陰)으로 고쳐 궐성군(闕城郡)의 영현으로 하였다. 1018년(현종 9) 합주(陜州)의 임내가 되었고, 공양왕 때 비로소 감무를 설치하였다.
조선 초기 현감을 두었고 그 뒤 큰 행정적 변화는 없었으나, 1767년(영조 43) 이 고을에서 일곱 살 된 아이가 아기를 낳았다고 하여 음(陰)자를 청(淸) 자로 고쳐 산청현(山淸縣)으로 이름을 바꾸었다. 1895년(고종 32) 진주부 관할의 산청군이 되었고, 1914년 행정구역 개편 때 단성군(丹城郡)을 병합하고 산청면 옥리에 군청을 두었다.