묘비는 발견될 당시 이미 깨어진 상태였고, 남아있는 비편은 현재 높이 63㎝, 너비 94.6㎝, 현재두께 17㎝이다. 국립경주박물관 소장. 화강암으로 만들었다. 비문은 26행이며, 자경(字徑)은 약 2.3㎝이다. 1931년 경상북도 경주시 서악동에 있는 서악서원(西岳書院)의 누문인 영귀루(詠歸樓) 서편 부근에서 잔석(殘石)으로 발견되었다.
잔석은 원비(原碑)의 하부로 상부 절반 이상이 결손되었고, 풍화가 심하여 판상(板狀)에 따라 앞뒷면의 사이가 둘로 갈라졌으며, 비면에는 훼손된 흔적이 있다. 한쪽 면에 새겨진 약 4백자의 비문은 3.3㎝ 크기의 방형 정간(井間) 속에 음각되었다. 서체는 해서(楷書)로 초당(初唐)의 글씨에 뒤지지 않는다.
이 잔석 중 판독된 ‘조문흥대왕(祖文興大王)’, ‘태종대왕탄미기공(太宗大王歎美其功)’, ‘공위부대총관(公爲副大摠管)’ 등은 『삼국사기』 열전 김인문조에 “·…… 태종대왕이 그에게 압독주(押督州) 총관(摠管)을 제수하였다. 이에 그가 장산성(獐山城)을 쌓아 방어시설을 하니 태종이 그 공을 기록하고 식읍(食邑) 300호(戶)를 주었다.”라고 한 그의 사적에 해당된다.
이 밖의 비문 내용도 그가 당나라에 가 건봉(乾封) 원년(666)에 벼슬을 제수 받은 사실과, 백제를 항복시키고 고구려와의 싸움에 참가하였다는 『삼국사기』의 기록과 부합되는 점이 많다.
비의 건립연대는 현존 비문에는 나타나 있지 않으며, 695년(효소왕 4) 경주 서쪽에 매장하였다는 『삼국사기』 열전의 기록으로 보아 7세기 말에 세워진 것으로 추정된다. 낭선군(朗善君) 이우(李俁)의 『대동금석서(大東金石書)』에서는 이 비의 탑본(榻本)을 김유신묘비로 잘못 추정하였으며, 그 서목(書目)인 『대동금석총목(大東金石總目)』에서는 “함형 4년에 세웠는데, 경주에 있다.”라고 하였다.
낭선군이 탑본을 수집할 당시 이 비가 경주에 있었으므로 적어도 조선 효종 · 현종 때까지는 남아 있었으나 이미 전문(全文)을 알아보기 힘들 정도로 파괴되었던 듯하다. 통일신라 초기의 확실한 금석문의 하나로 신라사료로서의 가치가 있다.