본관은 광산(光山). 자는 중온(仲昷). 호는 유일재(惟一齋). 아버지는 성균진사 김주(金籌), 어머니는 순흥안씨(順興安氏) 안처정(安處貞)의 딸이다. 이황(李滉)의 문인이다.
1567년(명종 22) 생원시에 합격하였다. 김언기는 일찍이 구봉령(具鳳齡)과 함께 청량산(淸凉山)에 들어가 10년을 기약하고 글을 읽다가 연고가 있어 구봉령보다 1년 앞서 돌아왔다. 산에서 내려오며 둘러보니 암애(巖崖)와 초목이 모두 읽던 책의 글자로 보였다 한다.
도산(陶山) 근처에 살면서 서사(書舍)를 지어 ‘유일’이란 편액을 걸어놓고 후진을 교육하였다. 문하에서 남치리(南致利)·정사성(鄭士誠)·권위(權暐)·박의장(朴毅長)·신지제(申之悌)·권태일(權泰一) 등 훌륭한 인물들이 배출되어 당시 안동의 학문진흥의 창도자로 알려졌다.
이황이 죽은 뒤에는 여강서원(廬江書院)을 세우고, 백련사(白蓮寺)를 철거하여 유학을 숭상하고 불교를 배척하는 데 노력하였다. 저서로는 『유일재집(惟一齋集)』 1권이 있다. 안동의 용계서원(龍溪書院)에 제향되었다.