김유신(金庾信)의 둘째 아들이며, 어머니는 태종무열왕의 딸인 지소부인(智炤夫人)이다.
신라는 668년(문무왕 8)에 고구려의 수도 평양을 함락시키고, 다시 고구려 백성들을 받아들여 당나라 지배하에 있던 백제의 옛 땅을 점령함으로써 세력을 확장하였다.
이 소식을 들은 당나라 고종은 크게 노해 당나라와 말갈의 연합군을 보내 신라를 공격하였다. 672년 석문(石門 : 황해도 瑞興 일대) 전쟁에서 신라의 장군 효천(曉川)과 의문(義文) 등이 죽어 비장(裨將)으로 참전했던 원술도 또한 싸워서 죽으려고 하였다.
그러나 보좌하던 부관 담릉(淡凌)이 만일 죽더라도 공을 세우지 못한다면 살아서 뒷일을 도모함만 같지 못하다는 이유로 만류하였다.
이에 전장에서 죽지 못하고 되돌아왔다. 그러자 아버지 유신이 왕명을 어기고 가문의 명예를 저버렸다며 목을 벨 것을 왕에게 청했으나, 문무왕이 용서해 주었다. 원술은 부끄러워 감히 아버지를 보지 못하고 시골로 숨어버렸다.
김유신이 죽은 뒤에 원술은 어머니 지소부인을 만나려고 했으나, 지소부인은 원술이 자식의 도리를 다하지 못했다며 자기도 어머니가 아니라며 만나기를 끝내 거절하였다. 이에 원술은 담릉 때문에 일이 이러한 지경에 이르게 되었다고 탄식하면서 태백산으로 들어가 숨어버렸다.
675년에 설인귀(薛仁貴)가 이끄는 당군과 거란, 말갈의 연합군이 매소천성(買蘇川城 : 지금의 경기도 楊州)으로 침공해 왔다. 이 사실을 듣고 이번 싸움에서 죽음으로써 지난번의 치욕을 씻겠다는 각오로 전장에 임해 큰 공을 세웠으나, 부모에게 용납받지 못한 것을 한탄해 벼슬에 나아가지 않고 일생을 마쳤다.