1760년(영조 36)에 종9품 전옥서 참봉(典獄署 參奉), 1762년(영조 38)에 전생서 봉사(典牲署 奉事), 같은 해 12월에 내담시 직장(內膽寺 直長), 1764년(영조 40)에 종6품 사재감 주부(司宰監 主簿)를 역임했다. 1765년(영조 41)에는 소촌도 찰방(召村道 察訪)이 되어 진주로 내려갔다.
강세황(姜世晃), 불염재(不染齋) 김희성(金喜誠) 등의 동시대 문인화가들과 그림을 감상하거나 화평을 나누었고, 남유용(南有容), 심환지(沈煥之) 등의 수응화(酬應畵)를 그렸다.
김윤겸은 46세 이후에 금강산, 한양 근교, 충청도 단양, 영남 지방 등 전국의 명승을 여행하면서 실경산수화를 남겼다. 김희성의 가전 화첩인 『불염재주인진적첩(不染齋主人眞籍帖)』에는 정선 그림에 평한 김윤겸의 글이 발견되어 그가 정선의 화법에 영향을 받았음을 유추할 수 있다.
경상남도의 명소들을 그린 장면으로 장첩된 『영남기행화첩(嶺南紀行畵帖)』은 50세 이후 김윤겸이 습득하고 익힌 화법이 엿보이는 화첩이다. 그 밖의 대표작으로는 간송미술관에 소장된 「동산계정도(東山溪亭圖)」,국립중앙박물관에 소장된 『금강산화첩(金剛山畵帖)』, 『진경산수화첩(眞景山水畵帖)』, 「총수산도(蔥秀山圖)」 등이 전한다.