본관은 연안(延安). 자는 자문(子文), 호는 지재(遲齋). 서울 출신. 아버지는 현령 김상리(金相履)이며, 어머니는 선공감봉사 이홍저(李弘著)의 딸이다.
천성이 차분하여 경서, 특히 『주역(周易)』에 전념하였다.
뒤늦게 1750년(영조 26) 음보로 선공감역(繕工監役)에 기용되고, 1754년에 사옹원주부(司饔院主簿)·동부도사(東部都事)를 거쳐 영평현령이 되었는데, 1756년 흉년대책이 불비하였다는 어사 이최중(李最中)의 보고로 파직되었다. 뒤에 고령자에게 주어지는 첨지중추부사·동지중추부사를 역임하였다.
30여 년간 『주역』을 공부하여 정자(程子)의 전의(傳義: 傳을 풀이한 뜻)와 주희(朱熹)의 본의(本義: 經을 풀이한 뜻)를 모두 비판하였는데, 전자는 의리(義理), 후자는 상수(象數)에 치중한 결점이 있다고 지적하고, 자신의 독특한 학설을 주장하였다.
이병연(李秉淵)과 시로써 교류하였으며, 성대중(成大中)을 배출하였다. 저서로 『전의후록(傳義後錄)』·『하도해(河圖解)』·『심의해(深衣解)』가 필사본으로 전한다.