1436년 이순지(李純之)가 간의대(簡儀臺)에 나가 천문을 측후하다가 어머니 상을 당하자, 그 일을 대신 맡게 되었다. 1437년에는 집현전저작랑, 1439년에 집현전박사가 되었고, 그해 이순지와 더불어 『칠정산외편(七政算外篇)』을 고교윤정(考校潤正)해서 올렸다.
이 때 왕명으로 정흠지(鄭欽之) · 정초(鄭招) · 정인지(鄭麟趾) 등이 수시력법(授時曆法)과 대통력태양태음통궤(大統曆太陽太陰通軌) 등에 대하여 그 계산법을 밝히고, 약간의 은괄(檃括:교정)을 가해서 『칠정산내편(七政算內篇)』을 만들었다고 한다.
현존하는 규장각본인 『칠정산내편』과 『태양통궤』 · 『태음통궤』 등이 모두 이순지와 김담의 편찬으로 되어 있는데 이 두 사람이 『칠정산내편』의 교정 · 편찬에도 참여하였음을 알 수 있다.
25세 때에는 전료(殿僚)와 더불어 국어와 음의(音義)를 보정해서 올렸다. 28세 때에는 봉상시주부(奉常寺主簿)가 되었고, 이듬해에 정인지 · 이순지 · 박윤창(朴允昌)과 더불어 경기도 안산(安山)에서 양전(量田)을 시행할 때도 공이 컸다.
29세 때는 이조정랑이 되었고, 제언종사관(堤堰從事官)이 되어 이순지와 더불어 언제공사(堰堤工事)에서 계산을 맡았다. 32세 때 승문원부교리로 있을 때, 명을 받아 『전부구등지법(田賦九等之法)』을 찬정하였다.
1448년(세종 30) 서운관부정(書雲觀副正)이 되었고, 이듬해 친상을 당하였으나 계속 출사하여 역법과 측후의 일을 하였다.
1451년(문종 1) 사헌부장령이 되어 불사(佛事)를 배척하는 소를 여러 번 올렸으며, 1452년 홍문관직제학이 되었고, 이어 충주목사로 나갔다. 1456년(세조 2) 안동부사, 1458년 경주부윤, 1464년 중추원사가 되었다.
이순지와 더불어 당대에 가장 뛰어난 천문학자로서 세종대의 천문 · 역법 사업에 크게 공헌하였고, 정인지 · 정초 · 정흠지 · 이순지 등과 더불어 『칠정산내편』 · 『칠정산내편정묘년교식가령(七政算內篇丁卯年交食假令)』 · 『칠정산외편』 · 『칠정산외편정묘년교식가령(七政算外篇丁卯年交食假令)』 · 『대통력일통궤(大統曆日通軌)』 · 『태양통궤(太陽通軌)』 · 『태음통궤(太陰通軌)』 · 『교식통궤(交食通軌)』 · 『오성통궤(五星通軌)』 · 『사여전도통궤(四餘纏度通軌)』 · 『중수대명력(重修大明曆)』 · 『경오원력(庚午元曆)』 · 『선덕십년월오성릉범(宣德十年月五星陵犯)』 등 많은 천문역서를 교정, 편찬하였다.
그가 충주목사로 재직할 때 관내에 도적이 많아 고을 백성들이 몹시 두려워하였는데 그는 이 도적을 잘 다스렸으며, 장물의 증거를 발견하면 비록 그 양이 적더라도 이를 용서하지 않았다.
광해군 때에 사림에서 향현사(鄕賢祠)와 문계서당(文溪書堂)을 지었는데, 뒤에 다시 구강서원(龜江書院)과 단계서원(丹溪書院)으로 옮겨 개명되었다가 흥선대원군 때 철폐되었다. 시호는 문절(文節)이다.