당(唐)으로 갔던 시기는 분명하지 않으며, 당에서는 볼모로 있었다. 812년(헌덕왕 4)에 헌덕왕은 이찬(伊湌) 김창남(金昌南) 등을 당에 사신으로 파견하였다. 이에 대한 답사로 당 헌종은 직방원외랑(職方員外郞) 섭어사중승(攝御史中丞) 최정(崔廷)을 신라에 파견하였는데, 이때 김사신이 최정을 보필하였다. 최정은 부절(符節)을 가지고 와서 조문하고 제사하였으며, 또 헌덕왕을 개부의동삼사(開府儀同三司) 검교태위(檢校太尉) 지절(持節) 대도독계림주제군사(大都督雞林州諸軍事) 계림주자사(雞林州刺史) 겸(兼) 지절충영해군사(持節充寧海軍使) 상주국(上柱國) 신라왕(新羅王)으로 책봉하고, 부인 정씨(貞氏)를 왕비로 책봉하였다. 그리고 대재상(大宰相) 김숭빈(金崇斌) 등 3인에게 문극(門戟)을 하사하였다. 한편 이 사실이 『삼국사기(三國史記)』에는 809년(헌덕왕 원년)으로 기록되어 있지만, 『구당서(舊唐書)』 등 중국의 문헌에는 812년으로 기록되어 있어 차이가 있다.
김사신은 816년(헌덕왕 8)에 견당사(遣唐使)로 다시 입당(入唐)하던 도중에 악풍(惡風)을 만나 그해 11월에 당의 초주(楚州) 염성현(鹽城縣)에 표착하였다. 이후 그는 820년에 당 사신의 부사(副使)가 되어 신라에 돌아왔다. 한편 『책부원구(冊府元龜)』에는 이때 부사로 따라온 사람을 신라의 질자(質子) 시위위소경(試衛慰少卿) 김면(金沔)이었다고 하였는데, 김사신이 김면과 동일인인지는 자세히 알 수 없다. 이 외에 김사신에 대한 기록은 다른 곳에 보이지 않는다.