본관은 언양(彦陽). 자는 자진(子晉). 김자(金赭)의 증손으로, 할아버지는 김경장(金慶長)이고, 아버지는 김계조(金繼祖)이며, 어머니는 정소남(鄭召南)의 딸이다.
생원시를 거쳐 1513년(중종 8) 식년 문과에 병과로 급제하였다. 이후 지평(持平)을 거쳐, 수찬(修撰)·부응교(副應敎)·집의(執義)·사간·직제학(直提學) 등을 지냈다. 1531년 김안로(金安老)를 탄핵하다가 도리어 사헌부와 사간원의 탄핵을 받아 풍덕(豊德)으로 유배되었다.
그것은 1524년 남곤(南袞)·심정(沈貞) 등의 탄핵으로 풍덕에 유배되었던 김안로가 1531년 다시 예조판서로 등용되자 정세가 바뀌게 되었는데, 의정부·육조·홍문관에서 1524년에 탄핵하고 나섰을 때 홍문관직제학이던 김섬도 이에 참여하였기 때문이다.
1537년 김안로가 실각되어 사사(賜死)되자 귀양에서 풀려나 함경도관찰사·호조참판·첨지중추부사 등을 역임하였다. 1544년 중종이 병중인데도 자녀들 혼인을 예도 갖추지 않고 치렀다 하여 양사(兩司: 사간원·사헌부)의 탄핵을 받았다. 그 뒤 1546년(명종 1) 동지사로 명나라에 다녀왔다.