백제 때 창건하였으며, 오랫동안 폐사로 남아 있어 그 자세한 유래 등이 전하여지지 않고 있다. 다만, 이곳에서 발견된 와명(瓦銘)에 ‘太平八年戊申定林寺大藏堂草(태평팔년무신정림사대장당초)’라고 씌어 있어 정림사임을 알게 되었다.
현재 절터에는 부여 정림사지 오층석탑(국보, 1962년 지정)과 부여 정림사지 석조여래좌상(보물, 1963년 지정)이 있다. 이 불상은 고려시대의 사찰 중수 때 조성한 것으로 추정되고 있다. 가람배치는 강당(講堂)과 금당(金堂)과 중문(中門)이 일직선상으로 놓여 있고, 강당과 중문을 연결하는 회랑(廻廊)이 있으며, 금당과 중문 사이에 1기의 탑을 배치한 일탑식가람(一塔式伽藍)으로 추정되고 있다.
국보로 지정된 이 절의 오층석탑은 일명 백제탑이라고도 한다. 이 탑은 지금까지 평제탑(平濟塔)이라고 불리어왔다. 그 까닭은 초층 탑신에 새겨진 소정방(蘇定方)의 평제기공문(平濟紀功文), 즉 소정방이 백제를 멸한 기념으로 세워진 것으로 보았기 때문이다. 그러나 평제기공문은 본래부터 있었던 이 탑에 새겨 넣은 글에 불과하다. 따라서 이 탑은 660년(의자왕 20) 훨씬 이전에 건립된 것으로 보고 있다. 이 절은 백제의 가람형태 및 석탑의 연구에 매우 중요한 유지(遺趾)로 평가받고 있다.