본관은 경주(慶州). 자는 자유(子柔).
청어(淸語)에 능통하고 외교적 활동이 뛰어나 1721년(경종 1)에는 영조를 세제(世弟)로 삼는 일을 주청하였다.
특히, 청 임금들과 개별적 친분이 있어 국가의 현안 문제를 원활히 처리할 수 있었다. 1726년(영조 2) 변무사(辨誣使)를 따라 청에 갔는데, 그것은 인조가 『명사(明史)』에 잘못 기록되어 그 전에 여러 번 시정을 요구하였으나 시정되지 않아 다시 고치려 한 것인데, 이 때 최선을 다한 결과 수정할 수 있었다.
또, 1730년에는 『명사(明史)』 가운데 태조가 정권을 잡을 당시의 여러 사실들이 잘못 기재되어 이를 고치려고 다시 사신을 보내면서, 영조가 이번에는 어떻게 해서든지 바르게 고치고 귀국하라고 하였다. 당시 많은 사람들이 어려운 일이라고 말하였으나 김시유는 청에 건너가 왕과 조정 대신들을 차례로 만나 백방으로 노력한 결과 바르게 수정하고 돌아왔다.
귀국 후 영조는 그 공을 치하하여 노비와 전답을 지급하였으며, 품계가 숭록대부(崇祿大夫)에 올랐으나 겸손하였다.