1250년(고종 37) 평장사(平章事) 임경숙(任慶肅)이 주관한 과거에서 장원급제하였다. 1269년(원종 10)에 세자 왕심(王諶: 忠烈王)이 원나라에 갈 때 학유(學諭)로서 서장관이 되어 따라갔다.
이 때 임연(林衍)이 원종(元宗)을 폐하고 안경공(安慶公) 왕창(王倡)을 옹립했는데, 세자의 요청으로 원나라에서 사신을 보내어 그 사실을 힐문하고 임연을 토벌하기로 결정하자, 김응문도 원나라의 사신과 함께 귀국하여 왕을 복위하게 하였다. 1275년에 충청도안찰사(忠淸道按察使)가 되었으나 왕의 뜻을 거슬러 파면당하였다.
1276년에 원나라에서 귀부군(歸附軍) 5백인에게 장가들게 하기 위하여 여자를 요구하자, 과부처녀추고별감(寡婦處女推考別監)이 되어 전국에서 여자를 징발하였다. 뒤에 대부윤(大府尹)이 되었다가 1282년에 앞서 세자를 시종한 공으로 1등공신이 되었다.
1283년에 비서소윤(秘書少尹)으로 국자감시(國子監試)의 시관이 되어 시(詩)·부(賦)에 이부(李榑) 등 38인을, 십운시(十韻詩)에 이응(李膺) 등 22인을 뽑았으며, 뒤에 판삼사사(判三司事)가 되었다.