김태렴은 신라 중대의 문화적 전성기에 해당하는 경덕왕대 활동한 인물로서 우리나라의 문헌에는 기록이 보이지 않으나, 일본 사서에 관련 기록이 전하고 있다. 『속일본기』 천평승보 4년(752) 윤3월에 '대재부에서 아뢰기를 신라왕자 한아찬(韓阿飡) 김태렴(金泰廉)과 공조사(貢調使) 김훤(金暄) 및 송왕자사(送王子使) 김필언(金弼言) 등 700여 명이 배 척을 타고 와서 정박했습니다."라 한 기록이 그것이다.
당시 신라와 일본의 관계는 성덕왕대 이후 소원해지기 시작하여 경덕왕대 매우 악화된 상태였기에 대규모 사절단 파견은 매우 이례적인 사건이었다. 신라는 삼국통일전쟁과 나당전쟁 시기에 배후에 있던 일본을 자극하지 않기 위해 온건한 대일외교를 전개하였지만, 삼국통일이 마무리된 이후에는 정상적인 대일외교를 전개하려 하였다. 성덕왕이 733년 당의 요구를 수용하여 발해의 남쪽국경을 공격함으로써 나당관계가 복원되고 친선관계를 유지하게 되면서 외교정책에 변화가 반영되었다. 이러한 적극적인 대당외교에 더하여 대일외교는 비중이 점차 줄어들었다. 734년 신라가 일본에 보낸 국서에 스스로를 '왕성국(王城國)'이라 칭하며 자부심을 드러냈는데, 일본은 성덕왕대 이전의 대일외교 방식을 요구하며 이에 반발하였다. 실제로 743년부터 752년까지의 10년 동안은 사실상 국교단절 상태에 가까웠다.
따라서 이러한 시대상황에서 대규모 사절단을 이끌고 방일하였기에 그를 신라의 공식 외교사절이 아니라, 신라의 관인이나 상인이 내세운 '거짓 왕자(假王子)'로 보는 견해가 제시되기도 하였다. 하지만, 『속일본기』 천평승보 4년(752) 9월에 “왕자태렴(王子泰廉)” 등의 표현이 이후의 기록에서도 확인되고 있어 그러한 가능성은 낮다고 할 수 있다. 또한 이 무렵은 왕실이나 최고귀족이 아니면 대규모의 상업 및 교역망을 가동할 수 있는 세력을 운영하는 것이 쉽지 않았다는 점에서도 김태렴의 정치적 실체를 부정할 이유는 별로 없다.
그러한 점에서 752년의 대일교역은 의미가 작지 않으므로 관련 연구도 활발한 편이다. 주된 관점은 교역의 성격에 맞춰져 있다. 당시 발해와 대립관계에 있던 신라가 발해와 일본의 긴밀한 관계를 견제하여 자국 안전을 도모하기 위해 우호관계의 형성을 목적으로 파견하였다는 견해가 제시되었으나, 나라[奈良] 동대사의 대불(大佛) 개안식(開眼式)의 참석과 경제교역을 시행하기 위해서 파견했다는 견해가 제시되면서 주목을 받고 있다. 하나의 군사 혹은 경제적 목적만을 띠고 있었다고 파악하기에는 당시의 현실이 단순하지 않았다는 점에서 다양한 목적을 지닌 복합적 성격의 사절단이었다고 하겠다.
생몰연대가 기록에 남아있지 않아 정확한 활동내용을 파악하는데 한계가 있으며 사료를 토대로 추정해 볼 수 있다. '신라왕자 한아찬 김태렴'이라 하였는데, 한아찬은 대아찬(5관등)의 별칭이라는 점에서 적어도 진골귀족 이상의 신분임을 알 수 있다. 또한 신라왕자라 칭했던 사실에서 경덕왕의 직계 후손은 아닐지라도 신라왕실의 혼인 관계를 고려하면 왕족 신분을 지녔을 가능성은 충분해 보인다.
752년(경덕왕 11) 신라의 대규모 사절단을 이끌고 방일하여 양국간 정치, 경제, 문화의 교류에 중요한 역할을 하였다.