본관은 안동(安東). 자는 위수(渭叟). 김환(金丸)의 증손으로, 할아버지는 김종손(金宗孫)이고, 아버지는 오위부장(五衛副將) 김성(金城)이며, 어머니는 임치(任治)의 딸이다. 주계군(朱溪君) 이심원(李深源)의 문하에서 학업을 닦았다.
1506년(연산군 12) 별시 문과에 정과로 급제하여 홍문관정자에 임용되었다. 이어서 사헌부·사간원의 요직을 두루 역임하고, 1512년 병조좌랑에 올랐다.
1521년 제용감정(濟用監正)이 되어서는 재물관리를 철저히 하였고, 이어 해주목사가 되어 공부(貢賦)를 탕감하여 민생을 안정시켰고, 형옥(刑獄)을 공평히 처리하여 도내에 소문이 자자하였다.
인근 고을의 수령 중에서 사욕을 취하고자 하여도 김공망이 알고 있다면 두려워할 정도였다고 한다. 5년 동안 선정을 베푼 뒤 신병으로 사직하였다.