본관은 서흥(瑞興). 자는 대유(大猷), 호는 사옹(簑翁)·한훤당(寒暄堂). 예조참의 김중곤(金中坤)의 증손으로, 할아버지는 의영고사(義盈庫使) 김소형(金小亨)이고, 아버지는 충좌위사용(忠佐衛司勇) 김뉴(金紐)이며, 어머니는 청주 한씨(淸州韓氏)로 중추부사(中樞副使) 한승순(韓承舜)의 딸이다. 김종직(金宗直)의 문인이다. 『소학(小學)』에 심취해 ‘소학동자(小學童子)’로 불리었다.
선조는 서흥의 토성(土姓)으로서 고려 후기에 사족(士族)으로 성장했는데, 증조부인 김사곤(金士坤)이 수령과 청환(淸宦)을 역임하다가 아내의 고향인 경상도 현풍현에 이주하면서 그곳을 주근거지로 삼게 되었다.
할아버지인 의영고사 김소형이 개국공신 조반(趙胖)의 사위가 되면서 한양에도 연고를 가지게 되어, 할아버지 이래 살아오던 한성부 정릉동에서 태어났다.
어려서는 호방하고 거리낌이 없어, 저자 거리를 돌아다니면서 사람들을 매로 치는 일이 많아 김굉필을 보면 모두 피했다고 한다. 그러나 성장하면서 분발해 점차 학문에 힘쓰게 되었다.
근기 지방의 성남(城南)·미원(迷原) 등지에도 상당한 경제적 기반을 가지고 있었던 것으로 짐작되나, 주로 영남 지방의 현풍 및 합천의 야로(冶爐: 처가), 성주의 가천(伽川: 처외가) 등지를 내왕하면서 사류(士類)들과 사귀고 학문을 닦았다.
이 때 김종직(金宗直)의 문하에 들어가 『소학(小學)』을 배웠다. 이를 계기로 『소학』에 심취해 스스로를 ‘소학동자’라 일컬었고, 이에서 받은 감명을 "글을 읽어도 아직 천기를 알지 못했더니, 소학 속에서 지난날의 잘못을 깨달았네. 이제부터는 마음을 다해 자식 구실을 하려 하노니, 어찌 구구히 가볍고 따스한 가죽 옷과 살찐 말을 부러워하리오."라고 술회했다고 한다.
이후 평생토록 『소학』을 독신(篤信)하고 모든 처신을 그것에 따라 행해 『소학』의 화신이라는 평을 들었으며, 나이 삼십에 이르러서야 다른 책을 접했고 육경(六經)을 섭렵하였다.
1480년(성종 11) 생원시에 합격해 성균관에 입학하였다. 이때에 장문의 상소를 올려 원각사(圓覺寺) 승려의 불법을 다스릴 것을 포함한 척불과 유학의 진흥에 관한 견해를 피력하기도 하였다.
1494년 경상도관찰사 이극균(李克均)이 이학(理學)에 밝고 지조가 굳다는 명목의 유일지사(遺逸之士)로 천거해 남부참봉에 제수되면서 관직 생활을 시작하였다. 이어서 전생서참봉·북부주부 등을 거쳐, 1496년 군자감주부에 제수되었으며, 곧 사헌부감찰을 거쳐 이듬해에는 형조좌랑이 되었다.
1498년 무오사화가 일어나자, 김종직의 문도로서 붕당을 만들었다는 죄목으로 장(杖) 80대와 원방부처(遠方付處)의 형을 받고 평안도 희천에 유배되었다가 2년 뒤 순천에 이배되었다.
유배지에서도 학문 연구와 후진 교육에 힘써, 희천에서는 조광조(趙光祖)에게 학문을 전수해 우리 나라 유학사의 정맥을 잇는 계기를 마련하였다. 1504년 갑자사화가 일어나자 무오 당인이라는 죄목으로 극형에 처해졌다.
중종반정 뒤 연산군 때에 피화한 인물들의 신원이 이루어면서 도승지에 추증되었고, 자손은 관직에 등용되는 혜택을 받게 되었다.
그 뒤 사림파의 개혁 정치가 추진되면서 성리학의 기반 구축과 인재 양성에 끼친 업적이 재평가되어 김굉필의 존재는 크게 부각되었다. 이는 조광조를 비롯한 제자들의 정치적 성장에 힘입은 바가 컸다.
그 결과 1517년(중종 12) 정광필(鄭光弼)·신용개(申用漑)·김전(金詮) 등에 의해 학문적 업적과 무고하게 피화되었음이 역설되어 다시 우의정에 추증되었고, 도학(道學)을 강론하던 곳에 사우를 세워 제사를 지내게 되었다.
그러나 1519년 기묘사화가 일어나 김굉필의 문인들이 피화되면서 남곤(南袞)을 비롯한 반대 세력에 의해 김굉필에게 내려진 증직 및 각종 은전에 대한 수정론이 대두되었다. 당시의 이 같은 정치적 분위기의 변화에도 불구하고, 그 뒤 김굉필을 받드는 성균관 유생들의 문묘종사(文廟從祀) 건의가 계속되었다.
그리하여 1575년(선조 8) 시호가 내려졌으며, 1610년(광해군 2) 대간과 성균관 및 각 도 유생들의 지속적인 상소에 의해 정여창(鄭汝昌)·조광조·이언적(李彦迪)·이황(李滉) 등과 함께 오현(五賢)으로 문묘에 종사되었다.
학문적으로는 정몽주(鄭夢周)·길재(吉再)·김숙자(金叔滋)·김종직으로 이어지는 우리 나라 유학사의 정통을 계승하였다. 그러나 김종직을 사사(師事)한 기간이 짧아 스승의 후광보다는 자신의 학문적 성과와 교육적 공적이 더 크게 평가되는 경향이 있다.
사우(師友)들 가운데에는 사장(詞章)에 치중한 인물이 많았으나, 정여창과 함께 경학(經學)에 치중하였다. 이러한 학문적 성향으로 인해 ‘치인(治人)’보다는 ‘수기(修己)’에의 편향성을 지니게 되었다. 또한 현실에 대응하는 의식에서도 그러한 성격이 잘 나타나, 현실 상황에 적극적, 능동적으로 대응하려는 자세는 엿보이지 않았다.
이로 인해 20여 인에 달하는 문인들은 두 차례 사화의 소용돌이 속에서도 크게 타격을 받지는 않았다. 나아가 유배지 교육 활동을 통해 더욱 보강되어 후일 개혁 정치를 주도한 기호계(畿湖系) 사림파의 주축을 형성하게 되었다.
『소학』에 입각한 처신(處身), 복상(服喪)·솔가(率家) 자세는 당시 사대부들의 귀감이 되었으며, ‘한훤당의 가범(家範)’으로 숭상되었다. 후학으로는 조광조(趙光祖)·이장곤(李長坤)·김정국(金正國)·이장길(李長吉)·이적(李勣)·최충성(崔忠誠)·박한공(朴漢恭)·윤신(尹信) 등이 있다.
아산의 인산서원(仁山書院), 서흥의 화곡서원(花谷書院), 희천의 상현서원(象賢書院), 순천의 옥천서원(玉川書院), 현풍의 도동서원(道東書院) 등에 제향되었다. 저서로는 『경현록(景賢錄)』·『한훤당집(寒暄堂集)』·『가범(家範)』 등이 있다. 시호는 문경(文敬)이다.