본관은 의성(義城). 자는 진백(振伯). 호는 제산(霽山). 할아버지는 생원 김방렬(金邦烈)이고, 아버지는 김태중(金泰重)이며, 어머니는 순천김씨로 호군 김여만(金如萬)의 딸이다.
어려서부터 문장에 통달하여 인근의 각광을 받았다. 1728년(영조 4) 이인좌(李麟佐)의 난 때에는 의병을 일으키고, 창의소(倡義所)에서 토역문(討逆文)을 각 지방의 유문(儒門)에 보내어 의병에 가담할 것을 적극 권하였다. 그 공로로 인하여 안핵사(按覈使)의 추천을 받아 참봉에 임명되었다.
1734년 어사 박문수(朴文秀)와 이조판서 조현명(趙顯命)의 추천으로 다시 참봉에 임명되었으나 모두 사퇴하고 부임하지 않았다. 그 뒤 감진어사(監賑御史) 이종백(李宗白)의 추천으로 사과(司果)에 기용되어 사축서별제(司畜署別提)를 역임하였다. 또한 상소하여 치국평천하의 도를 건의하고 왕도정치를 행할 것을 촉구하였다.
1735년 증광문과에 을과로 급제하여 사헌부지평이 되었고, 이어서 사간원정언·홍문관수찬 등을 역임하였다. 1737년 이현일(李玄逸)의 신원소(伸寃疏)를 올렸다가 왕의 노여움을 사서 정의(旌義)에 유배되었다.
그 뒤 광양으로 이배되어 배소에서 죽었다. 문장가로 조정의 총애를 받았으며, 성리학에 조예가 깊었는데 이황(李滉)의 이기이원론(理氣二元論)을 지지하였다. 저서로는 『제산문집(霽山文集)』 16권이 있다.