본관은 광산(光山). 자는 자여(子輿), 호는 송당(松堂). 중찬(中贊) 김태현(金台鉉)의 아들이다.
충선왕 때 문과에 급제해 성균학관이 되었다. 충선왕을 따라 원나라에 갔던 공로로 사복시승(司僕寺丞)에 승진했고, 이어 도관정랑(都官正郎)이 되었다.
1339년(충혜왕 복위 1) 조적(曺頔)이 난을 일으켰다가 죽임을 당한 뒤 충혜왕이 원나라에 잡혀갈 때 호종하였다. 고려에 돌아와서 1340년 군부총랑(軍簿摠郎)이 되고, 이어 판전교시사(判典校寺事)에 올랐다. 1341년 판전의시사(判典儀寺事)로 동지공거(同知貢擧)가 되어 지공거 이군준(李君俊)과 함께 진사를 시취하였으나 강직한 성품으로 간신들의 모함을 받아 파직되었다.
1344년 충목왕이 즉위하자 우부대언(右副代言)이 되고 지신사(知申事)에 올랐다. 대신들이 아부하지 않는다고 모함해 판도판서(版圖判書)에 전임되었다. 그러나 곧 밀직부사·제조전선(提調銓選)을 지내고, 지사사(知司事)에 승진하였다. 1349년 충정왕이 즉위하자 서연(書筵)을 설치하고 그 사부(師傅)가 될 것을 요청했으나 이를 사양하였다.
이에 다시 첨의평리(僉議評理)에 임명되어 인사권을 맡았으나 덕녕공주(德寧公主)의 정사 간섭이 심해 물러났다. 그 뒤 덕녕공주가 여러 차례 불렀으나 이에 응하지 않았다. 1350년(충정왕 2) 삼사우사(三司右使)가 되었는데, 이 때 정방(政房)에서 문선(文選)과 무선(武選)을 총관하는 것은 옳지 않다고 건의해 이를 시정하도록 했으며, 전리판서(典理判書)를 겸직하였다.
1351년 공민왕이 즉위한 후 12년간이나 은거하며 어머니를 봉양했고, 어머니가 죽자 여막에서 상을 마쳤다. 왕이 이를 가상히 여겨 김광재가 사는 곳을 영창방 효자리(靈昌坊孝子里)라 정표(旌表)하고, 그 마을의 호(戶) 일부에 부역과 조세를 면제해 그에게 이를 봉사하게 하였다. 김광재는 효제(孝悌)에 힘써 생산에 관심이 없었고, 항상 거문고와 글을 가까이 하였다. 시호는 문간(文簡)이다.