본관은 광산(光山). 자는 강숙(岡叔), 호는 서하(棲霞). 아버지는 교위(校尉) 김홍익(金弘翼)이며, 어머니는 해주최씨(海州崔氏) 장사랑(將仕郞) 최한종(崔漢宗)의 딸이다. 김인후(金麟厚)의 문하에서 수학하였다.
7세 때 아버지는 잃고 숙부에게 수학하여 1551년(명종 6) 향시(鄕試)에 일등하였으며, 정철(鄭澈)과 특계(特契)를 맺고 『근사록(近思錄)』·『주역(周易)』 등을 공부하였다. 1558년 사마시에 합격하였으며, 1560년 침랑(寢郞)에 임명되었다.
1581년(선조 14) 제원도찰방(濟原道察訪)을 역임하였으며, 1592년 임진왜란이 일어나자 동복가관(同福假官) 및 동복현감(同福縣監)을 역임하면서 군량과 의병을 모으는데 큰 공을 세웠다. 1596년 조카 김덕령(金德齡)이 무고(誣告)로 옥사하자 세상과 인연을 끊고 은둔하고 말았다.
1597년 정유재란(丁酉再亂) 때 어머니를 업고 피난하던 중 성모산(聖母山)에서 왜병을 만나자 부인과 함께 몸으로 어머니를 보호하다 살해되었다.
그는 성리서(性理書)에 대하여 깊이 연구하였으나 시(詩)로도 이름이 높아 「식영정잡영(息影亭雜詠)」·「척서도(滌署圖)」 등은 세상에 유행하였다. 저서로는 『서하당유고(棲霞堂遺稿)』가 있다.