전북 남원 출신. 본관은 부안(扶安). 자는 제옹(濟翁), 호는 명은(明隱). 아버지는 김계형(金啓亨)이고, 어머니는 흥덕 장씨(興德張氏)이며, 작은아버지인 김연장(金鍊章)에게 입양되었다. 김원행(金元行)의 문인이다.
명나라 유민(遺民)이라 자처하며 과거를 포기하고 평생 성리학(性理學) · 경학(經學) · 의리학(義理學) 연구에 몰두하였다. 주희(朱憙)와 송시열(宋時烈)의 저서를 애독하고, 도연명(陶淵明)과 같은 은자들을 흠모하여 차운(次韻)하기도 하였다.
1797년(정조 21) 조정에서 왕명으로 편찬하는 『존주휘편(尊周彙編)』에 존양지의(尊攁之義)를 지켰던 조상 7인의 사적을 알리고 그들에 대한 추증(追贈)을 받았다. 또한 김집(金集)의 수제자이자 그의 5대조인 김지백(金之白)의 문집 『담허재집(澹虛齋集)』을 편찬하였다.
그의 학문 정신은 소중화(小中華) 의식으로 요약된다. 이는 유학의 도통(道統)이 단군(檀君) · 기자(箕子) 이래 동쪽으로 전수되었고, 특히 명나라가 중원에서 망한 후 송시열 등의 노력으로 『춘추(春秋)』의 존주양이(尊周攘夷) 정신이 전적으로 우리나라에서 보존 · 유지된다는 관점으로서, 그의 「소중화설(小中華說)」에 잘 나타나 있다. 이러한 소중화 의식을 바탕으로 「기동악부(箕東樂府)」와 「내성지(奈城誌)」 같은 작품들이 저술되었다.
「기동악부」는 고조선에서 조선 후기까지의 사적과 인물에 대한 85편의 영사시(詠史詩)이며, 글자 수에 융통성이 있는 자유로운 형식을 취하고 있다. 「내성지」는 『황명사기(皇明史記)』 · 『노릉지(魯陵誌)』 · 『동합기(東合記)』 · 『육신전(六臣傳)』 등에서 기사를 취해 선인(先人)들의 충열(忠烈)을 포폄(褒貶)한 것이다. 작품 구성은 단종(端宗)과 명나라 건문황제(建文皇帝)가 연회를 열어 충의(忠義)를 기준으로 신하들을 각기 입장시키고 시를 짓게 하는데 우리 측에 충의로운 신하가 많음을 명나라 건문황제가 부러워하는 식으로 되어 있어 일종의 몽유록(夢遊錄) 수법을 차용하고 있다. 이러한 작품들에는 소중화 의식뿐만 아니라 자국 문화에 대한 자부심도 표출되어 있다.
그는 인물성동이논쟁(人物性同異論爭)에 대해서는 낙론(洛論)을 지지하면서도 절충적 입장을 취하였다. 저술로는 「천군설(天君說)」 · 「영대설(靈臺說)」 등 성리학 관계 논술이 다수 있으나 그의 주요 저작은 경학 또는 의리학에 치우쳐 있다. 그것은 100여 개 이상의 도설(圖說)과 「경의조대(經義條對)」 등의 논술을 통해 짐작할 수 있다. 저서로는 『명은고(明隱稿)』가 있다.
1855년(철종 6) 승정원좌승지 겸 경연참찬관(承政院左承旨 兼 經筵參贊官)에 추증되었다.