광종 때 재상을 지냈다. 김정언이 지은 금석문으로 세 편의 글이 전해지고 있으며, 김정언의 경력은 이 글에 언급된 내용으로만 알 수 있을 뿐이다.
958년(광종 9)에 쓴 옥룡사통진대사보운탑비(玉龍寺洞眞大師寶雲塔碑)가 전라남도 광양시 옥룡면 추산리 옥룡사지에, 975년에 지은 고달사원종대사혜진탑비(高達寺元宗大師慧眞塔碑)의 비문이 경기도 여주군 북내면 상교리 고달사지의 부도비(현재 碑身 일부가 서울 경복궁 근정전에 소재)에, 978년(경종 3)에 쓴 보원사법인국사보승탑비문(普願寺法印國師寶乘塔碑文)이 충청남도 서산시 운산면 용현리 보원사지에 남아 있다.
이들 탑비는 현재 파손된 상태이나 비문은 왕명에 의해 써 졌고 전문이 현재 완전히 전하고 있다. 김정언은 958년에 관품은 통직랑(通直郞)이었고, 관직은 정위(正衛)·한림학사(翰林學士)·사단금어대(賜丹金魚袋)를 이었다.
그는 예부사(禮部使), 문하성의 참지정사(參知政事), 사관(史館)의 감수국사(監修國史)를 거쳐 975년에는 광록대부(光祿大夫), 태승(太丞)·한림학사·내봉성령(內奉省令)의 관직을 맡았다. 내봉성령은 당시 수상 직이었다. 보원사법인국사보승탑비 비문에 내봉성령을 전직으로 기록하고 단지 한림학사만을 기록하고 있어 경종 대에 내봉령에서 물러난 것으로 확인된다.
충청북도 괴산군 장연면 태성리 각연사에 남아 있는 각연사통일대사탑비는 원문이 심하게 마모되어 거의 판독이 어려우나, 판독되는 비문 중에 한림학사 김이 나오는 점으로 봐서 이 비문도 왕명을 받아 그가 지은 것으로 추측된다.
그는 광종연간에 설치된 사관의 초대 감수국사를 맡았고, 문장이 뛰어나고 학식이 깊었음을 비문을 통해 알 수 있다. 김정언은 광종 때 편찬된 것으로 추정되는 『구삼국사(舊三國史)』의 편찬자로 추정되고 있다.
그의 문집이 전하지 않으므로 그의 학문의 전모를 파악할 수 없다. 그가 지은 글을 통해 그는 유교와 불교에 대한 해박한 지식을 가지고 있었고 당시에 유행한 4·6 변려문체로 장중한 글을 쓴 것을 확인할 수 있다.