본관은 광산(光山). 자는 언우(彦遇). 호는 후조당(後彫堂). 안동 예안 출신. 아버지는 대사헌 김연(金緣)이며, 어머니는 창녕조씨(昌寧曺氏)로 조치당(曺致唐)의 딸이다. 1537년(중종 32) 진사시에 합격하여 성균관에 유학하면서 김인후(金麟厚)와 교유하였다.
1556년(명종 11) 41세의 나이로 이황의 문하에 나아가 제자로서의 예를 올렸으며, 여러 차례 벼슬을 내렸지만 사양하고 학문에 정진하였다. 이에 이황이 “후조주인(後彫主人)은 깨끗한 절개를 굳게 지켜, 임명장이 문전에 이르러도 기뻐하지 않는구나 …….”라는 시를 지어 그의 지조와 절개를 높이 평가하였다.
평소 효제를 학문의 근본으로 삼았으며, 일생 『심경(心經)』을 애독하였다고 한다. 1571년(선조 4) 스승 이황이 사망하자 소의(素衣)·소대(素帶)·소식(素食)하며 심상(心喪) 1년을 행하였다.
아우 김부의(金富儀), 4촌형 김부인(金富仁), 4촌아우 김부신(金富信)·김부륜(金富倫), 고종 금응훈(琴應壎)·금읍협(琴應夾)과 한 동네에 살면서 학문을 토론하고 덕업을 권장하여 향리에서는 ‘오천칠군자(烏川七君子)’라 칭송되었다.
1570년 이황이 역동서원(易東書院)을 건립할 때 적극적으로 협조하였으며, 1574년에는 조목(趙穆)과 함께 도산서원 건립을 주도하였다. 구봉령·권호문·조목 등 동문들과 두루 교유하였으며, 학문과 행실로서 사림들 사이에 신망이 높았다.
1822년(순조 22) 이조판서에 추증되고, 문순(文純)의 시호를 내렸다. 예안의 낙천사(洛川祠)에 위패가 봉안되었다. 저서로는 『후조당문집(後彫堂文集)』이 있다.