본관은 의성(義城). 자는 진삼(晉三), 호는 우금당(友琴堂). 할아버지는 지평 김지남(金地南)이고, 아버지는 통덕랑 김팔주(金八柱)이며, 어머니는 평강채씨(平康蔡氏)로 현감 채시흠(蔡時欽)의 딸이다.
어려서부터 문장에 능숙하였으며, 특히 변려체(騈儷體)에 재능이 뛰어났다. 1692년(숙종 18) 상경하여 폐비되어 있던 인현왕후(仁顯王后)에게 예를 표하고, 과거에서의 부정을 비롯한 폐정들을 비판하는 소를 올렸다가, 정권을 담당하고 있던 남인들에 의하여 무산으로 유배당하였다.
1694년 갑술환국으로 남인이 몰락하고 서인이 집권하면서 귀양에서 풀려났으나, 그 뒤로 교유를 끊고 거문고와 책을 벗하며 살았다.