본관은 안동(安東). 자는 문소(文素), 호는 영모당(永慕堂). 안변부사 김언룡(金彦龍)의 증손으로, 할아버지는 김을만(金乙萬)이고, 아버지는 통례원찬의(通禮院贊儀) 김복중(金福重)이며, 어머니는 주부(主簿) 이원경(李元經)의 딸이다.
평양 토관(土官)으로 1528년(중종 23) 모친상을 당하였는데, 묘소에서 어머니의 3년상을 마치는 동안 부인마저 멀리하여 동네 사람들은 지극한 효도에 감동, 묘소가 있는 산을 ‘제청산(祭廳山)’이라 하였다. 홀아버지를 효성으로 모시다가 그마저 죽자 옷이 해어지도록 갈아 입지 않고 풀과 채소로 연명하며 3년간 여묘(廬墓: 묘근처에 조그마한 처소를 지어 그곳에서 생활함)하면서 삭망·4명절·소상(小祥) 때 정성껏 제사를 지냈다.
집이 가난하여 제사에 쓸 제물이 없어 통곡을 하니 날던 꿩이 떨어졌다 하며, 제사에 쓸 장을 쥐가 흐려놓아 이를 한탄하니 밤 사이에 쥐들이 무리를 지어 장독 아래에 죽어 있었다고 한다. 1546년(명종 1) 명종이 김질의 효행을 듣고 특별히 정려(旌閭)를 내려 표창하였다.
특히, 김질의 인물됨을 높이 사서 김인후(金麟厚)는 그의 집을 영모(永慕)라 하였으며, 유희춘(柳希春)도 그의 행위를 경모하였다. 한때는 기대승(奇大升)·양응정(梁應鼎)과도 교유하였다. 저서로는 『영모록(永慕錄)』·『육사자책설(六事自責說)』이 있다. 사후 효행이 널리 알려져 정문이 세워졌다.