본관은 경주(慶州). 자는 문숙(文叔), 호는 학주(鶴洲). 서울 출생. 김연(金堧)의 증손으로, 할아버지는 증승지 김호윤(金好尹), 아버지는 찰방 김적(金積), 어머니는 화순최씨(和順崔氏)로 동지중추부사 최원(崔遠)의 딸이다.
1623년(인조 즉위년) 진사시에 합격했으나 파방되어 합격이 취소되고 재시험에서 합격했다. 1635년(인조 13) 증광 문과에 을과로 급제해 검열이 된 뒤 설서(說書)를 겸했다.
이듬해 병자호란이 일어나자 남한산성에 호종, 강경론을 주장했다. 당진현감으로 나가서는 감사와 뜻이 맞지 않아 벼슬을 그만두었다.
그 뒤 다시 복관되어 대교(待敎)·전적·지평·부수찬·정언 등을 차례로 역임했다. 1641년 수찬이 된 뒤 1644년 교리·헌납을 거쳐 1645년 이조좌랑이 되었는데, 권신 김자점(金自點)과 뜻이 맞지 않아 사직했다.
1648년 응교가 되어 관기(官紀)·전제(田制)·공물방납(貢物防納) 등 시폐(時弊) 15개조를 상소했다. 효종의 즉위와 더불어 1650년(효종 1) 사인(舍人)이 된 뒤 집의·승지를 거쳐 홍충도관찰사(洪忠道觀察使)가 되어 대동법(大同法)을 처음 실시했다.
1654년 황해도관찰사 재임시 천재로 효종이 구언(求言)하자 8년 전 사사된 민회빈강씨(愍懷嬪姜氏: 昭顯世子의 嬪)의 억울함을 풀어줄 것을 상소했다.
이른바 ‘강옥(姜獄)’이라고 불리는 이 사건은 종통(宗統)에 관한 문제로 효종의 왕위 보전과도 관련되는 것이기 때문에 누구도 감히 말하지 못했다. 그런데 김홍욱이 이 말을 꺼내자 격노한 효종에 의해 하옥되었고, 결국 친국을 받던 중 장살되었다.
죽기 전 “언론을 가지고 살인해 망하지 않은 나라가 있었는가?”라고 한 말은 후세인에게 큰 감명을 주고 있다.
1718년(숙종 44) 이조판서에 추증되고, 1721년(경종 1) 서산의 성암서원(聖巖書院)에 제향되었다. 저서로는 후손의 노력으로 연보 등이 추보(追補)된 『학주집(鶴洲集)』이 전한다. 시호는 문정(文貞)이다.