1982년 경상북도 기념물로 지정되었다. 지정면적 7,867㎡. 김양은 태종 무열왕의 9세손으로 김주원(金周元)의 증손자이고, 아버지는 정여(貞茹)이다.
그는 828년(흥덕왕 3)에 고성군(固城郡) 태수를 지낸 후 중원소경(中原小京)의 장관과 무주도독(武州都督)을 역임하였다. 흥덕왕 사후 김균정(金均貞)을 도와 왕위쟁탈전에 참여하였으나 패하여 청해진의 장보고(張保皐)에 의탁해 있다가 839년에 청해진의 군사를 이끌고 경주로 쳐들어가 민애왕을 시해하고 신무왕을 즉위시켰다.
그 공으로 김양은 창부령(倉部令)에 임용되었고 이어서 시중(侍中) 겸 병부령(兵部令)에 임명되었으며 그의 딸을 문성왕에게 시집보냈다. 문성왕 19년(857)에 나이 50세로 죽자 그는 서발한(舒發翰)에 추증되고 김유신의 예에 따라 장례를 치르었으며 태종 무열왕릉에 배장(陪葬)되었다고 한다.
그래서 지금의 경주시 서악동에 있는 태종 무열왕릉 앞쪽 약 15m지점에 있는 2기의 원형봉토분 중 규모가 작고 무열왕릉과 가까운 위치의 둘레 약 60m, 직경 20m, 높이 3.5m의 원형봉토분을 김양의 묘로 비정하고 있다.