본관은 안동(安東). 할아버지는 우의정 김상용(金尙容)이며, 아버지는 호조정랑 김광환(金光煥)이다.
1624년(인조 2) 진사가 주1, 1636년 성균관유생으로 후금의 사신 용골대(龍骨大)를 참살하고 그 국서(國書)를 소각할 것을 주2
음보(蔭補)로 기용되어 1666년(현종 7) 공조정랑, 1674년(숙종 즉위년) 장령(掌令), 이듬해 승지, 1676년 호조참판 등을 거쳐 1681년 지돈녕부사를 역임하였다. 1674년에 효종의 비 인선대비 장씨(仁宣大妃張氏)가 죽자, 자의대비 조씨(慈懿大妃趙氏)의 복상문제가 다시 대두되었다.
그런데 이에 앞서 1660년(현종 1) 효종의 국상 때와 같이 기년제(朞年制)를 주장하는 같은 서인 송시열(宋時烈)에 반대하고, 남인이 주장하는 복제에 동조하여 논란을 일으켰다.
또한, 명 · 청교체기의 중국 연호의 사용에 있어서도 송시열은 명나라 연호인 숭정(崇禎)을 주장한 반면, 김수홍은 청나라의 강희(康熙)를 주장하여, 청나라에 항거하여 목숨을 바친 할아버지의 뜻과 반대되는 처지를 주3