본관은 광산(光山). 자는 인로(寅老), 호는 노헌(蘆軒). 아버지는 현감 김우(金珝)이다.
1531년(중종 26) 사마시에 합격하였으나 벼슬에 관심이 없고, 오로지 고결한 성행(性行)으로 문예에만 열중하였다.
만년에는 복주(福州)의 산수를 사랑하여 그곳 아산(鵝山)의 하로동(下蘆洞)에 조그마한 초옥을 짓고 은거하면서 사색과 독서에 열중하였는데, 특히 『주자절요(朱子節要)』와 『주역(周易)』을 탐독하였다. 최산두(崔山斗)가 이곳에 귀양살이할 때 김윤충의 지절을 흠모하여 ‘처사로(處士蘆)’ 석 자를 써주어 그의 높은 뜻을 표하기도 하였다.