본관은 광산(光山). 자는 불민(不敏). 김췌(金萃)의 증손으로, 할아버지는 평양서윤 김순성(金順誠)이고, 아버지는 예조정랑 김석(金磶)이며, 어머니는 박복경(朴復卿)의 딸이다.
1513년(중종 8) 식년 문과에 갑과로 급제하여 전적(典籍)을 역임하였으나, 명성이 높아지는 것을 두려워하는 동료들의 시기를 받아 적성현감으로 나갔다.
그 치세가 남달리 빼어나 백성들의 존경을 받았다. 재주가 뛰어나고 조행이 방정하여 세속과 어울리기를 좋아하지 않아 때로는 소인들의 미움을 받기도 하였다. 『동국여지승람(東國輿地勝覽)』에도 오직 김세우만이 적성현의 명관으로 기재되어 있다.