김유신(金庾信)의 적손(嫡孫)인 윤중(允中)의 서손(庶孫:서자의 아들 또는 아들의 서자)이다. 어려서부터 천성이 총명하였으며 신선사상에 심취하였고, 방술(신선의 술법)을 배워 장생불사하는 방사(方士)가 되려고 노력하였다.
한때 이찬(伊飡:17동 품계 중 두번째 위계)이 되어 당나라에 가서 숙위(宿衛)로 지냈는데, 그 때 중국의 음양술에 관심을 가지고 스승을 찾아가 인간의 길흉화복과 만물의 생멸변화를 미리 예측하기 위해 천문·지리·역수(曆數) 등을 배웠다. 스스로 ‘둔갑입성법(遁甲立成法)’을 창안하여 스승에게 보이자, 그의 술법이 높음에 감복하여 감히 제자로 대하지 못하였다고 한다.
그가 당나라에서 귀국하자마자 사천대박사(司天大博士)가 되었으며, 천문·역수 등을 맡아 보았다. 이어 양주(良州:지금의 양산)·강주(康州:지금의 진주)·한주(漢州:지금의 경기도 광주)의 태수를 역임했고, 다시 집사시랑(執事侍郎)과 패강진(浿江鎭:대동강 하류 남쪽 연안지방)의 두상(頭上:지방관)이 되었다.
그는 가는 곳마다 마음을 다해 백성들을 보살피고, 농사일이 한가할 때는 백성들에게 육진병법(六陣兵法)도 가르쳤다. 한편, 그는 술법으로 이적(기적)을 보이기도 하였는데, 한번은 황충(蝗蟲 : 누리)이 서쪽에서 날아와 패강진 일대를 덮쳐 백성들이 농사를 근심하게 되자, 그가 산마루에 올라가 향을 피우고 주문을 외며 하늘에 기원하니 갑자기 비바람이 일어나 황충이 모두 죽었다고 한다.
779년(혜공왕 15)에는 왕명에 따라 일본에 사신으로 갔는데, 일본의 광인왕(光仁王)이 그의 도술이 높음을 알고 억지로 더 머무르게 하였다. 그 때 당나라 사신 고학림(高鶴林)도 일본에 건너와 김암과 만나게 되었는데 전부터 아는 사이라 서로 반기니, 이를 본 왜인들이 김암이 중국에도 널리 알려진 인물임을 알고 감히 더 머무르게 하지 못하자 돌아오게 되었다.