660년(의자왕 20) 백제가 멸망한 뒤 유민들이 부흥운동을 일으켜 처음에는 고구려·왜국의 후원을 받음으로써 그 세력이 강하여졌다.
그러나, 얼마 가지않아 백제부흥군 지도층의 내분이 생기고, 또 663년(문무왕 3) 9월 당나라와 신라 연합군의 침공을 받아 두릉이성(豆陵伊城)·주류성(周留城) 등 여러 성이 함락당하자, 백제왕 부여풍(扶餘豊)은 고구려로 달아나고, 왕자 부여 충승(扶餘忠勝)·부여 충지(扶餘忠志) 등은 그 무리를 이끌고 왜인과 함께 항복하였지만, 그만은 북부의 거점인 임존성(任存城)에 웅거하며 항복하지 않았다.
10월 21일부터 시작된 신라군의 침공을 잘 막아 11월 4일 스스로 물러가게 하였다. 그러나 대부분의 성이 주류성의 함락과 동시에 항복하고 말았으므로 임존성은 고립되어 있었고, 또 부흥운동을 하다가 당에 항복한 흑치상지(黑齒常之)·사탁상여(沙吒相如) 등이 오히려 임존성을 공격해 오자 더 이상 버티지 못하고 663년말 고구려로 달아났으며, 임존성도 함락되고 말았다.