본관은 안동(安東). 자는 선경(善卿). 증조부는 어영대장 김응해(金應海)이다. 아버지는 김세언(金世彥)이고, 어머니는 진주 강씨(晉州姜氏)로 강설(姜說)의 딸이다.
일찍이 고아가 되었으나 자립하여 학문수양에 전력하였다. 24세에 무과에 급제하였다.
1697년(숙종 23) 무관으로 윤지선(尹趾善)의 천거를 받은 바 있으며, 1711년 삼도통제사가 되었다. 영남에 있을 때 큰 가뭄이 들자 백성들의 구휼에 전력을 다하였으며, 길주에 있을 때도 가뭄의 피해로 백성들이 곤경에 처하자, 이들의 기아를 척결하는 데 공을 세웠다.
1711년 통제사로 있을 당시 병기를 수리하고 군사기강을 바로잡는 일에 힘쓰는 한편 현의 창고를 열어 서민들을 도와주었으므로, 군민(軍民)이 모두 힘을 합쳐 김중원의 공을 기리기 위한 비석을 세웠다. 한편 글씨에도 뛰어나 초서·예서를 잘 썼다.