성덕왕의 종제(從弟)이다. 726년(성덕왕 25) 당나라에 하정사(賀正使)로 가서 숙위(宿衛)로 머물면서 좌영군위 원외장군(左領軍衛員外將軍)에 이르렀고, 734년에 귀국하였다.
귀국 당시 당나라의 현종에게 말하기를, 본국으로 돌아가 병마를 내어 말갈(靺鞨: 당시의 발해)을 토평하라는 부탁을 행하려 함에 환국을 기회로 부사(副使)의 직을 주면 기운을 내어 말갈의 근거지를 뒤엎고, 황우(荒隅: 동해)를 평안하게 하여 큰 이익이 되도록 하겠다고 하여 허락을 받았으나, 출사(出師)하지는 않았다.
성덕왕대는 당나라와 발해가 분쟁하던 시기로 732년 발해의 침공을 받은 당나라는 신라에 발해의 남쪽을 공격해줄 것을 요청하였으며, 신라도 이듬해에 군사를 보냈으나 큰 눈과 험로(險路)로 인하여 회군하였다.
이런 상황에서 김충신은 표(表)를 올려 재차 발해를 토벌하게 해줄 것을 요청하였는데, 이는 성덕왕대에 신라가 발해와 당나라의 분쟁을 이용하여 북진정책을 적극적으로 추진시키려는 의도였던 것이다. 이 결과 신라는 735년에 정식으로 패강(浿江) 남쪽 영토의 영유권을 당나라로부터 인정받게 되었다.