신라시대에는 풍무현(風茂縣)이라 하였으며, 감문군(甘文郡)의 영현이었다. 1018년(현종 9) 경산부(京山府)에 이속시키고, 공양왕 때에 감무(監務)를 두었다.
조선시대에 들어와서는 정종이 황악산(黃嶽山)에 어태(御胎: 임금의 태)가 봉안되었다고 하여 김산군으로 승격시켰다. 1895년(고종 32) 23부제 실시 때에는 대구부 관할의 김산군이 되었고, 그 이듬해 13도제 실시에 따라 경상북도의 3등군이 되었다.
1914년 행정구역개편 때 이웃의 지례(知禮)ㆍ개령(開寧)의 두 군과 성주군의 신곡면(薪谷面)을 합쳐 새로 김천군을 만들었다. 이리하여 옛 김산군의 영역은 김천시 조마ㆍ대항ㆍ금릉ㆍ봉산ㆍ어모ㆍ감문ㆍ감천면 등으로 재편성되었다.