본관은 경주(慶州). 별명은 김준(金準) 또는 김참봉. 자는 태원(泰元). 호는 죽봉(竹峰). 전라남도 나주 출신. 의병장 김율(金聿)의 형이다.
순릉참봉(順陵參奉)을 지냈다. 1894년 동학농민전쟁이 일어나자 동학에 투신하였다. 그러나 동학군의 행태에 실망한 김태원은 잠시 수원에 옮겨 살다가 귀향하였다. 고향에 돌아온 김태원은 고을 아전들의 탐학을 바로잡기 위해 관찰사에게 호소하여 이를 해결하여 주민들로부터 칭송을 받았다.
1906년 동생 김율과 호남에서 의병을 일으켜 고창·영광 등지에서 활약하였다. 이듬해 기삼연(奇參衍)의 호남창의회맹소(湖南倡義會盟所)에 가담하여 선봉장이 되어 나주·함평 등지에서 활약하였다. 1908년 1월 김율과 합진, 동복(同福) 무동산(舞童山)에서 요시다[吉田勝三郎] 기병부대 150명과 접전, 요시다의 목을 베었다.
이때 담양 추월산성(秋月山城)에서 총상을 치료중이던 기삼연이 붙잡혀 광주에서 총살당하였다는 소식을 듣고 호남의소(호남의소)라고 부대이름을 바꾸어 일진회원, 밀정, 자율단원 등을 처단하였으며, 납세거부투쟁을 유도하였다.
1908년 5월 장성(長城) 토물[土泉] 뒷산에 성을 쌓고 전투를 벌였으며 광주 어등산(魚登山)전투에서 전사하였다.
1962년에 건국훈장 독립장이 추서되었다.