김유신(金庾信)의 현손으로, 증조부는 이찬(伊飡) 김삼광(金三光), 할아버지는 성덕왕의 총신이었던 대아찬(大阿飡) 김윤중(金允中)이다. 둔갑입성법(遁甲立成法)으로 유명한 김암(金巖)과는 형제간이다.
그의 가문은 김유신의 증손 김융(金融)이 난을 일으킨 것을 계기로 몰락하여, 그는 집사부의 말단직 집사랑(執事郞)을 지냈을 뿐이다. 저서로는 김유신의 『행록(行錄)』10권이 있는데, 『삼국사기(三國史記)』의 김유신전 3권은 이를 바탕으로 쓴 것이다.