신라 말 선문구산(禪門九山)의 하나인 가지산파(伽智山派)의 개산조(開山祖) 도의(道義)가 창건한 사찰이며, 성주산파(聖住山派)의 개산조인 무염(無染)도 이 절에서 출가하였다는 기록이 전한다. 그러나 그 뒤의 역사는 전해지지 않고 있다. 전설에 의하면 이 절의 후원에 한 그루의 이상한 나무가 있어 다섯 가지 색의 꽃이 피었으므로 절 이름을 오색사라 하고 지명을 오색리라 하였으며, 절 아래에 있는 약수도 오색약수라 하였다고 전한다. 그러나 불교에서는 청·황·적·백·흑색의 오색을 정색(正色)으로 삼고 있으므로 이들 다섯 가지 색에서 절 이름이 유래되었다고 추정하기도 한다.
현존하는 유물로는 1968년 보물로 지정된 양양오색리삼층석탑을 비롯하여 석사자(石獅子)와 대석(臺石)·기단석·탑재(塔材) 등이 산재되어 있고, 최근에 지은 인법당(因法堂) 1동이 있다.