본관은 안동(安東). 자는 덕수(德叟), 호는 대산(臺山). 아버지는 참봉 김이수(金履鏽), 어머니는 죽산안씨(竹山安氏)로 안종주(安宗周)의 딸이다.
1795년(정조 19) 정시문과에 병과로 급제하여 검열·사인을 거쳐 초계문신(抄啓文臣)이 되었고, 그 뒤 예조참판을 거쳐 1821년(순조 21) 강화부유수를 역임하였다.
김매순은 당대의 문장가로 홍석주(洪奭周) 등과 함께 명성이 높았으며, 여한십대가(麗韓十大家)의 한 사람으로 꼽혔다. 또한, 성리설에 관하여 일가견을 가지고 있어서 인물성동이론(人物性同異論)을 둘러싼 호락논쟁(湖洛論爭)에 이간(李柬)과 낙론(洛論)을 지지하였다. 고종 때 판서에 추증되었고, 시호는 문청(文淸)이다.
저서로는 『대산집(臺山集)』·『대산공이점록(臺山公移占錄)』·『주자대전차문목표보(朱子大全箚目問標補)』·『궐여산필(闕餘散筆)』·『열양세시기(洌陽歲時記)』 등이 있다.