1977년 데뷔 앨범을 발표하여 파격적이고 실험적인 음악으로 선풍을 일으킨 이래 1991년까지 12종의 음반을 발표하면서 왕성하게 활동했다. 일정한 휴지기를 가진 뒤 13집 앨범을 1997년에 발표하면서 컴백했다.
김창완(1954∼ : 기타, 보컬), 김창훈(1956∼ : 베이스 기타, 보컬), 김창익(1957∼2008: 드럼)은 집에서 음악으로 ‘놀이’를 했다. 1977년 「제1회 MBC 대학가요제」에 출전하기 위해 무이(無異)라는 밴드를 결성했고, 이후 서라벌레코드사에서 데뷔 앨범을 발표하면서 산울림이라는 이름을 지었다.
1977년 서라벌레코드를 통해 발표한 1집 앨범에 수록된 「아니 벌써」가 히트를 기록한 이래 「아마 늦은 여름이었을 거야」(1집), 「내 마음에 주단을 깔고」(2집) 등이 연발로 히트를 기록했다. 이후 김창훈과 김창익의 군 입대로 휴지기를 가졌지만, 1980년부터 1984년 사이 「창문 넘어 어렴풋이 옛생각이 나겠지요」, 「빨간 풍선」(이상 6집),「가지 마오」, 「청춘」(이상 7집), 「내게 사랑은 너무 써」, 「회상」(이상 8집), 「너의 의미」(10집) 등의 히트곡을 남겼다.
1975년 12월의 대마초 파동으로 대다수의 록 밴드들의 활동이 자유롭지 않을 때 혜성처럼 등장하여 록 음악의 새로운 방향을 개척했다. 나이트클럽에서 연주하는 것을 중심으로 활동했던 기존 록 밴드와는 달리 음반과 콘서트 중심으로 활동했다.
2006년 30주년 기념 공연을 가지고 14집 앨범을 준비하다가 2008년 김창익이 교통사고로 사망하면서 활동이 중단된 상태다. 김창완은 ‘김창완 밴드’를 결성하여 활동을 계속하고 있다.
당대에는 높은 창의성에도 불구하고 연주력이 낮다는 이유로 과소평가되기도 했다. 그렇지만 1990년대 이후 ‘인디’ 계열의 음악인들로부터 절대적인 추종을 받고 있다.