본관은 안동(安東). 자는 여인(汝仁), 호는 십청(十靑)·귀연(歸淵). 김양겸(金養謙)의 증손으로, 할아버지는 김범행(金範行)이고, 아버지는 김이규(金履銈)이며, 어머니는 이평(李枰)의 딸이다.
1794년(정조 18) 알성문과에 장원급제한 뒤 1799년 규장각직각(奎章閣直閣)이 되었다.
순조 즉위 후 합리적이고 강직한 성품이 비변사(備邊司)의 인정을 받아 어사(御史)에 합당한 인물로 추천되었으며, 1801년(순조 1) 부제학에 올랐다. 같은 해 영의정 심환지(沈煥之)가 문장과 학식이 뛰어남을 알고 경연관으로 천거하였다.
이때 왕은 이언적(李彦迪)이 정부에 건의한 서계십조(書啓十條)의 하나를 대궐의 벽에 걸도록 김근순에게 지시함으로써 정치수행에 교훈을 삼고자 하였다. 같은 해 대사성이 되었고, 1802년 직제학이 되어 깨끗한 문관의 표본이 되었다.