본관은 안동(安東). 자는 회여(晦汝), 호는 수북(水北). 할아버지는 김극효(金克孝)이고, 아버지는 우의정 김상용(金尙容)이며, 어머니는 권송(權悚)의 딸이다.
1612년(광해군 4) 생원·진사 양과에 모두 합격했으나, 광해군의 어지러운 정치를 비판하며 관직에 나아가지 않았다. 그러나 1623년 인조반정이 일어나자 인재로 뽑혀 연원도찰방(連源道察訪)을 제수받았다. 1625년(인조 3) 정시 문과에 병과로 급제하고, 승문원 및 홍문관부정자, 검열·정언 등을 역임했다.
이괄(李适)의 난 및 유효립(柳孝立)의 역모사건 때 영사공신(寧社功臣) 1등에 책봉되었으나 뒤에 개훈(改勳) 때 삭제되었다. 1626년 수찬·교리·암행어사 등을 거쳐, 1627년 정묘호란 때 호조판서 심열(沈悅)의 종사관으로 기읍(畿邑)에 파견되어 기민구제에 힘썼다.
사간·응교·대사헌·대사간·예조참의 등을 거쳐, 1634년 부제학이 되었다. 이 때 대사간 유백증(兪伯曾)이 인조의 사친추숭(私親追崇)을 옹호함을 임금에게 아부한다 해 탄핵하다가 삼수(三水)로 유배당하였다. 다음해 재이(災異)가 빈발함을 이유로 방면되어 돌아왔다.
1636년 병자호란 당시 아버지 김상용이 강화로 피난했다가 강화가 함락당해 그 곳에서 자살하자, 김광현도 홍주의 오촌동(鰲村洞)에 은거하였다. 조정에서는 호종(扈從)의 공을 수록하고 대사간을 제수하였으나 나아가지 않았다. 다시 청주목사에 제수되었으나, 모든 문서에 청나라 연호 쓰기를 거부하고 단지 간지만 씀으로써 파직당하였다.
그 뒤 이조참판을 배수했으나 사직하였다. 1646년 소현세자빈 강씨의 옥이 일어나 강씨가 사사되자, 강빈의 오빠 강문명(姜文明)이 사위였던 까닭에 순천부사로 좌천되었다. 이듬해 그 곳에서 울분 끝에 죽었다.
전서(篆書)와 해서(楷書)를 잘 썼으며, 글씨로는 홍천에 있는 「홍양청난비(洪陽淸難碑)」 및 통진에 있는 「민기신도비(閔箕神道碑)」와 「영상이탁묘비(領相李鐸墓碑)」가 있다. 시문집으로 『수북유고(水北遺稿)』 4권이 전한다.