성덕왕의 조카이다. 733년(성덕왕 32) 당나라에 사신으로 갔다. 이해에 발해가 산동(山東)의 등주(登州)를 침입하자, 당나라 현종(玄宗)은 숙위하고 있던 김사란(金思蘭)을 귀국시켜 신라군사를 출동하여 발해를 치도록 요청하였다.
이에 응하여 출병하였으나 큰 공을 세우지 못하고 회군하였다. 그 뒤 현종은 많은 진귀한 물품을 보내왔다. 이에 대하여 신라에서는 김지렴을 보내어 사은하게 하자, 당나라는 김지렴을 내전(內殿)에서 향응하고 1속(束)의 견포(絹布)를 하사하여 우대하였다.
734년에 김지렴이 숙위를 하던 김충신(金忠臣)이 돌아오는 대신으로 숙위를 하게 되고, 현종은 그에게 홍려소경 원외치(鴻驢少卿員外置)를 제수하였다. 김지렴은 입당 조공하여 신라의 원료물과 중국의 제품을 교환하는 임무를 수행하였다.