과거에는 관심이 없었으나 아버지의 명으로 응시하여 1673년(현종 14) 진사시에 합격한 뒤 과장에 발을 끊었다. 백악(白岳) 기슭에 낙송루(洛誦樓)를 짓고 동지들과 글을 읽으며 산수를 즐겼다. 1681년(숙종 7) 김석주(金錫胄)의 천거로 장악원주부(掌樂院主簿)에 임명되었으나 나가지 않았다.
1689년 기사환국으로 아버지가 진도에서 사사되자, 영평(永平)에 은거하였다. 『장자』와 사마천(司馬遷)의 『사기』를 좋아하고 시도(詩道)에 힘썼으며, 친상을 당한 뒤에는 불전(佛典)을 탐독하여 슬픔을 잊으려 하였다. 그 뒤 주자의 글을 읽고 깨달은 바가 있어 유학에 전념하였다.
1696년 서연관(書筵官)에 초선(抄選)되고, 1721년(경종 1) 집의에 제수되었으며, 이듬해 영조가 세제(世弟)로 책봉되자 세제시강원(世弟侍講院)에 임명되었으나, 모두 사임하고 나가지 않았다. 신임사화로 절도에 유배된 형 창집이 사사되자 지병이 악화되어 죽었다.
김창흡은 형 김창협과 함께 성리학과 문장으로 널리 이름을 떨쳤고, 이기설에서는 이황(李滉)의 주리설(主理說)과 이이(李珥)의 주기설(主氣說)을 절충한 형 김창협과 같은 경향을 띠었다. 즉, 선한 정(情)이 맑은 기(氣)에서 나온다고 말한 이이의 주장에 반대하고 선한 정이 오직 성선(性善)에서 나온다고 말한 형 김창협의 주장에 찬동하였다. 또한 사단칠정(四端七情)에서는 이(理)를 좌우로 갈라 쌍관(雙關)으로 설명한 이황의 주장에 반대하고, 표리(表裏)로 나누어 일관(一關)으로 설명한 이이의 주장을 찬성하였다.
김창흡은 『중용』의 미발(未發)에 대해서도 깊이 연구하였다. 또한 인품(人品)을 6등으로 나누어 성인(聖人) · 대현(大賢) · 군자(君子) · 선인(善人) · 속인(俗人) · 소인(小人) 등으로 구분하기도 하였다. 저서로는 『삼연집(三淵集)』 · 『심양일기(瀋陽日記)』 등이 있다.
이조판서에 추증되었고, 양주의 석실서원(石室書院), 양근(楊根)의 미원서원(迷源書院), 덕원의 충곡사(忠谷祠), 울진의 신계사(新溪祠), 양구의 서암사(書巖祠), 강릉의 호해정영당(湖海亭影堂), 포천의 요산영당(堯山影堂), 한성의 독충당(篤忠堂) 등에 제향되었다. 시호는 문강(文康)이다.