대한불교조계종 제6교구 본사인 마곡사(麻谷寺)의 말사이다. 841년(문성왕 3) 진감혜소(眞鑑慧昭)가 창건했다고 한다. 자세한 연혁은 전하지 않는다.
1481년(성종 12)에 편찬된 『동국여지승람(東國輿地勝覽)』과 1799년(정조 23)에 편찬된 『범우고(梵宇攷)』에는 ‘정혜사(淨慧寺)’라고 나와 있다. 1592년(선조 25) 임진왜란 때 휴정(休靜)이 의승병의 도량으로 이용했다. 1908년 의병과 일본군과의 전투 중에 전소했으나 불상만은 화를 면했다. 같은 해에 월파(月波)가 중창했다. 1930년 불상을 개금한 기록이 있는데, 이때에는 절 이름이 ‘정혜사(定慧寺)’라고 나와 있다.
부속 암자로는 혜림암[惠林庵 : 일명 中庵]과 석굴암(石窟庵), 서암(西庵)이 있다. 현존하는 건물로는 대웅전과 칠성각, 요사채가 있다. 유물로는 2018년 충청남도 유형문화재(현, 유형문화유산)로 지정된 청양 정혜사 목조석가여래삼불좌상을 비롯하여 칠성탱화와 아미타래영도(阿彌陀來迎圖), 혜림암 탱화, 부도 2기, 부도비 1기가 있다. 칠성탱화는 대웅전의 아미타불 후불탱화인데, 1885년(고종 22)에 제작된 것이다. 아미타래영도는 칠성각에 있으며, 1911년에 제작된 것이다. 혜림암 탱화는 1868년(고종 5)에 제작된 것이다. 또한 부도비는 혜월(慧月)의 것으로 1815년(순조 15)에 부도와 함께 세워졌다. 절 일원이 1984년 충청남도 문화재자료로 지정되었다.