본관은 경주(慶州), 자는 언홍(彦洪), 호는 노항(魯巷)이다. 영천 출신이다. 아들이 김취려(金就礪)이다.
1592년 임진왜란이 일어나자 교생(敎生)이었던 김연은 조카 김대해(金大海), 유생(儒生) 최인제(崔仁濟), 이일장(李日將), 정세아(鄭世雅), 정의번(鄭宜蕃), 이영근(李榮根) 등과 함께 의병을 일으켜 영천성을 수복하였다. 이어서 박연(朴淵)과 자인(慈仁)에서 왜군을 소탕하고, 경주성을 수복하기 위해 경상좌병사 박진(朴晉) 휘하의 부대와 연합하여 경주성 서쪽 외곽 서천(西川) 전투에서 싸우다 8월 21일 전사하였다.
출전할 때 경주의 왜군의 군세(軍勢)가 강하여 말렸지만, 앞장서서 싸우다가 패하였다고 한다. 김연이 출전할 때에 아들 김취려(金就礪)에게 흰 명주 쪽에 자신의 성명을 쓰게 한 다음, 자신이 죽게 되면 그것을 표식으로 시신을 수습하라고 일렀다. 아들 김취려가 부친의 시신을 찾는데, 과연 시신 가운데에 글씨가 쓰인 흰 명주 쪽이 의대(衣帶) 사이에 끼어 있어서 부친인 줄 알고 수습하였다고 전한다.
초유사(招諭使) 김성일(金誠一)의 장계로 경주 서천전투에서 순절한 17명의 자손에게 조세와 부역을 면제하였다. 이때 한성부(漢城府) 판관(判官)에 추증되었다. 밀양 고천사(古川祠)에 제향되었다. 1705년(숙종 31) 영천의 고천서원(古川書院) 순국사(殉國祠)에 경주 서천전투에서 순절한 10명과 함께 제향되었다. 1868년(고종 5) 서원훼철령에 따라 철폐되자 비석을 세워 기리는 곳으로 삼았다.