10세 때에 아버지가 삼별초난의 토벌에 나섰다가 전사해 고아가 되었다. 그러나 학문에 힘써 1275년( 충렬왕 1) 상서우승(尙書右丞) 이인성(李仁成)을 시관으로 한 국자감시에 장원급제하였다.
1276년 문과에 급제하고, 전시(殿試)에도 합격해 좌우위참군 직문한서(左右衛參軍直文翰署)를 제수받고, 좌창별감 판응방사(左倉別監判鷹坊事)가 되었다. 얼마 뒤 판도총랑(版圖摠郎)이 되어 전주(銓注)를 맡았고, 우승지를 거쳐 밀직부사로 승진하면서 성절사(聖節使)로 원나라에 다녀왔다.
1303년(충렬왕 29)에는 밀직사사로서 지공거가 되어 동지공거인 비서윤(祕書尹) 김우(金祐)와 함께 박리(朴理) 등 33인의 진사를 선발하였다. 충렬왕 말기에는 원나라로부터 정동행중서성 좌우사낭중(征東行中書省左右司郎中)을 제수받았고, 지첨의사사(知僉議司事)로 승진하였다.
이 때 신하들이 나뉘어 충렬왕과 충선왕을 이간시켜 국정이 매우 어지러웠으나, 공평하게 일을 처리해 난국을 수습하였다. 1308년(충선왕 즉위년) 양광수길도계점사 행수주목사(楊廣水吉道計點使行水州牧使)가 되어 모범적으로 도내의 민호를 점검하였다.
그 뒤 상의찬성사(商議贊成事)로서 파직되어 한거하다가, 1321년(충숙왕 8)에 첨의평리(僉議評理)로 복직하고 판삼사사(判三司事)로 승진하였다. 이 때 원나라에 의해 충선왕은 토번(吐蕃)으로 귀양가고, 충숙왕은 원나라에 억류되었으나, 김태현의 노력으로 국사가 잘 유지되었다.
그러나 충숙왕이 원나라의 억류에서 풀려나 관제를 개편할 때 파직되었다가, 이어 첨의정승(僉議政丞)으로 벼슬에서 물러났다. 1330년( 충혜왕 즉위년) 왕의 청원으로 원나라가 국왕의 인(印)을 빼앗고, 김태현에게 임시로 국정을 맡게 하였다.
그런데 충숙왕과 반대당의 무리들이 김태현을 불러 성인(省印: 당시 고려 국왕이 겸직하는 정동항중서성좌승상의 인)을 거두어가고 김태현과 윤석(尹碩) · 등을 하옥시켰다. 곧 옥에서 풀려났으나 이 일로 인해 가족을 이끌고 금강산으로 들어갔다.
이러한 소식을 전해들은 충혜왕이 사람을 보내어 성인을 회수하게 하고 김태현을 불러 국정을 맡게 하였으나, 같은 해에 사망하였다.
성품이 강직하고 언동이 예에 어긋나지 않았으며, 사람을 접대할 때에는 온화하였고, 어머니를 모심에는 효를 극진히 하였다 한다.
우리나라 사람들의 시문을 모아 『동국문감(東國文鑑)』을 편찬하였다.
시호는 문정(文正)이다.