본관은 광산(光山). 초명은 김두묵(金斗默), 자는 이운(而運), 호는 과재(過齋). 김장생(金長生)의 후손으로 아버지는 김위재(金偉材)이며, 어머니는 파평윤씨로 참봉 휴경(休耕)의 딸이다. 재당숙인 기재(驥材)에게 입양되었으며, 양어머니는 진주유씨(晉州柳氏)로 전적(典籍) 유상휘(柳尙徽)의 딸이다.
어려서부터 총명하여 학업에도 충실하였으며, 능히 과거시험에 응시할 수도 있었으나 할아버지 김운택(金雲澤)이 신임사화에 연루되어 벼슬에서 물러난 것을 보고 벼슬하기를 꺼려 학문에만 힘썼다.
1780년(정조 4) 감사의 추천으로 돈녕부참봉(敦寧府參奉)에 임명되었으나 나가지 않았고, 다시 사헌부지평(司憲府持平)·경연서연관(經筵書筵官) 등에 임명되었으나 그 때 족친인 김하재(金夏材)의 역변(逆變)이 있었으므로 끝내 사퇴하였다.
김정묵은 경전 외에도 『심경(心經)』·『근사록(近思錄)』·『성학집요(聖學輯要)』를 강론하면서 후진양성에 전념하였다. 김정묵은 성리학과 예설(禮說)에 밝았다.
『남당집(南塘集)』 중 심성(心性)·이기(理氣)·예설 등에 관한 한원진(韓元震)의 논술이 이이(李珥)·송시열(宋時烈)의 본 뜻에 많이 위배됨을 지적, 고증을 들어 변증하는 『규도수록(圭刀隨錄)』을 저술하였다. 저서로는 『과재유고(過齋遺稿)』 11권 5책이 있다.