김건종은 18세기 후반부터 화원을 다수 배출한 개성 김씨 출신이다. 자는 대중(大中), 호는 송암(松庵)이다. 할아버지는 김응리(金應履)이며, 아버지는 김득신(金得臣)이다.
할아버지 김응리는 화업에 종사한 흔적이 보이지 않지만, 김응리의 형 김응환(金應煥)은 정조 시대에 초대 자비대령화원(差備待令畵員)으로서 크게 활약했다. 김건종의 작은아버지 김석신(金碩臣)과 김양신(金良臣)도 화업으로 이름을 날렸다.
김건종과 같은 항렬인 김화종(金和種), 김수종(金秀鍾), 김하종(金夏種), 김순종(金舜鍾), 김은종(金殷鍾) 등도 19세기에 이름을 남긴 화원 화가들이다. 그의 외가인 인동 장씨 또한 장한종(張漢宗)을 비롯한 여러 화원을 배출한 가문이다.