본관은 안동(安東). 자는 응삼(應三), 호는 관어재(觀魚齋) 혹은 퇴장암(退藏菴). 아버지는 김상침(金尙琛)이며, 어머니는 파평윤씨(坡平尹氏) 윤효일(尹孝一)의 딸이다. 어려서부터 영민하여 경학을 통달하는 한편 병서(兵書)나 좌전(左傳)을 좋아하였다.
1728년에 이인좌(李鱗佐)의 난이 일어나자 안음(安陰)에서는 정희량(鄭希亮)이 호응하여 그 부근 여러 성을 함락하자, 거창현감(居昌縣監) 신정모(申正模)는 도주하였다. 이에 김중원은 가동(家僮)이나 이정(里丁)을 100여 명을 모으고, 그의 종재 김중익(金重益)은 군량을 도와 백의(白衣)로 거의(擧義)하였다.
곤양(昆陽) 군수 우하형(禹夏亨)에게 가 영장(營將) 이석복(李碩復), 남해현령(南海縣令) 윤하(尹㵑)를 도와 난을 평정하였는데, 적을 토벌할 계획이나 격문(檄文) 등이 모두 그의 손에서 이루어졌다.
이 후 양무(揚武) 1등공신에 녹훈되었으나, 벼슬에 뜻을 두지 않고 즉시 고향으로 돌아와 퇴장암이라는 정자를 짖고 후진 양성에 힘썼다. 그의 대표적인 제자로는 정창시(鄭昌始)·임응익(林應益) 등이 있다. 저서로는 『퇴장암유집(退藏菴遺集)』이 있다.