김인문묘는 1982년 8월 4일에 경상북도 기념물로 지정되었다. 이 무덤은 선도산(仙桃山)에서 남쪽으로 뻗은 능선상에 자리하며 동서 양측은 낮은 계곡을 이루고 있다.
봉분은 원형봉토분으로 밑지름이 26m, 높이는 6.5m이다. 무덤 앞의 왼쪽에는 김인문묘비의 귀부(龜趺)가 남아 있다. 김인문묘비는 1931년 12월 경주 서악동 서악서원 보수 때 북쪽 축대석으로 발견되었다. 크기는 높이 약 63㎝, 너비 94.5㎝, 두께 18㎝로 화강암 재질이며 현재 국립경주박물관에 소장되어 있다.
종래에는 태종무열왕릉 앞에 있는 두 개의 무덤을 두고 김인문묘와 김양(金陽)의 묘로 서로 혼동하여 그 주장이 달랐다. 그런데『삼국사기』열전 김양전과 김인문전에 각각 기록된 것처럼 김양묘는 태종무열왕릉에 가장 가까이에 있는 작은 딸린무덤〔陪葬〕형식으로 배치된 것이며, 김인문묘는 그보다 좀더 남쪽에 있으면서 약간 봉분이 크고 왼쪽에 묘비의 귀부가 남아 있다고 보는 것이 정설이다.
묘비의 절반 이상은 결손되고 마멸이 심해 글자를 알아보기 힘들다. 다만, 비면에 남아 있는 조문흥대왕(祖文興大王)·태종대왕탄미기공(太宗大王歎美其功)·공위부대총관(公爲副大摠管) 등의 글귀로 미루어보아 김인문묘비로 추정된다. 건립연대는 현존 비문에 나타나 있지 않다. 그러나『삼국사기』열전 김인문전에는 효소왕이 695년(효소왕 4) 10월 27일에 김인문을 태대각간(太大角干)으로 추증하고 경주의 서쪽 들판에 예로써 장례를 치렀다는 내용이 전하고 있어서 이 때 김인문의 무덤과 함께 건립된 것으로 추정된다.
경주 서악동에는 태종무열왕릉을 중심으로 김양묘와 김인문묘가 자리잡고 있는데, 당시 서원(西原)에는 김씨왕실의 장례지가 있었던 것으로 추측된다. 김인문이 유능한 왕족으로서 신라의 삼국통일에 큰 공훈을 세웠기 때문에 이곳에 성대하게 장례를 치른 것으로 보인다.