본관은 안동(安東). 할아버지는 우의정 김상용(金尙容)이며, 아버지는 호조정랑 김광환(金光煥)이다.
1624년(인조 2) 진사가 되고, 1636년 성균관유생으로 후금의 사신 용골대(龍骨大)를 참살하고 그 국서(國書)를 소각할 것을 상소하였다.
음보(蔭補)로 기용되어 1666년(현종 7) 공조정랑, 1674년(숙종 즉위년) 장령(掌令), 이듬해 승지, 1676년 호조참판 등을 거쳐 1681년 지돈녕부사를 역임하였다. 1674년에 효종의 비 인선대비 장씨(仁宣大妃張氏)가 죽자, 자의대비 조씨(慈懿大妃趙氏)의 복상문제가 다시 대두되었다.
그런데 이에 앞서 1660년(현종 1) 효종의 국상 때와 같이 기년제(朞年制)를 주장하는 같은 서인 송시열(宋時烈)에 반대하고, 남인이 주장하는 복제에 동조하여 논란을 일으켰다.
또한, 명·청교체기의 중국 연호의 사용에 있어서도 송시열은 명나라 연호인 숭정(崇禎)을 주장한 반면, 김수홍은 청나라의 강희(康熙)를 주장하여, 항청순절(抗淸殉節: 청나라에 항거하여 목숨을 바침)한 할아버지의 뜻과 반대되는 처지를 보였다.