별명은 김소성(金筱成), 호는 문곡(文谷). 평안북도 의주 출신. 일찍이 한학을 공부하였다.
1917년 만주로 가서 대동향약(大東鄕約)을 조직하여 광복운동을 전개하였으며, 1919년 박장호(朴長浩)·백삼규(白三奎)·조맹선(趙孟善) 등과 대한독립단(大韓獨立團)을 조직하여 총무부장을 맡았다.
1920년 국내에 들어와 의주·용천·철산 등지를 다니며 군자금 모집과 독립사상 고취를 위하여 진력하였다. 대한독립단이 연호사용문제를 에워싸고 1920년 1월에 기원(紀元)과 민국(民國)의 두 파로 분리되자 김평식은 박장호·백삼규·전덕원(全德元)·이웅해(李雄海) 등과 같이 기원독립단(紀元獨立團)을 조직하고 활동하였다.
1922년 남만주 각지에 분산연립하던 독립단체가 통의부(統義府)로 통합되자 여기에 소속되어 항일투쟁을 계속하였으며, 그 뒤 채상덕(蔡尙悳)·전덕원·이병기(李炳基)·오석영(吳錫泳)·강규묵(康圭默)·계추강(桂秋岡) 등과 같이 의군부(義軍府)를 조직하고 정무총감(政務總監)에 취임하여 항일활동을 벌였다.
1931년 만주에서의 독립운동이 어려워지자 북경(北京)의 서해전(西海甸) 방면에 은거하면서 동지들과 연락하다가 다시 만주로 돌아와서 봉천성 수암현(岫巖縣)의 농장에서 기거하다가 노환으로 작고하였다.
1963년 건국훈장 독립장이 추서되었다.