본관은 고령(高靈). 자는 형원(浻源). 호는 송호(松湖). 아버지는 부장(部將) 김두문(金斗文)이며, 어머니는 남원김씨(南原金氏) 김우(金雨)의 딸이다. 어려서부터 자질이 뛰어나 김연의 백형 김길(金洁)과 재종형 김면(金沔)과 합하여 김씨 삼군자(三君子)라 칭송되었는데 그의 학문도 김면에게서 수학하였다.
1592년(선조 25)에 임진왜란이 일어나 김면이 조종도(趙宗道)·곽준(郭䞭)·문위(文緯) 등과 의병을 일으키자 김연도 참여하여 정진(鼎津)·무계(茂溪)에서 대승하여 군자감정(軍資監正)에 제수되었다. 이후 김연은 고향으로 가속(家屬)을 피난시키는 한편, 진영에 있는 김면을 끊임없이 도왔다.
1593년에 김면이 군중(軍中)에서 죽자, 위험을 무릅쓰고 가서 상을 마치고 돌아왔다. 난이 평정되자 고령(高靈)에서 울산(蔚山)으로 옮겨 살며, 선업(先業)을 잇고 후생을 가르치는 일에 전념하였다. 저서로는 『송호집(松湖集)』이 있다.