본관은 광산(光山). 자는 순자(舜咨), 호는 위암(韋庵). 아버지는 김성택(金聖澤)이다.
친척이 왕실과 혼인하여 그 부귀를 누리게 되자 이를 싫어하여 벼슬에 나가지 않고 관악산에 숨어 살았다. 글을 즐겼다.
특히 『주역(周易)』에 관심이 깊어 여러 학자들의 주해(註解: 주석과 해석)를 섭렵하여 근세의 역학을 총망라한 10여 만자의 『산천역설(山天易說)』을 편찬하였다. 정조가 김상악의 현명함을 알고 홍릉참봉을 제수하였다. 이어 첨지중추부사를 거쳐 동지중추부사에 이르렀다. 저서로는 『위암시록(韋庵詩錄)』이 있다. 시호는 문간(文簡)이다.