지금은 대청댐으로 인하여 그 사지가 수몰되었다. 신라의 명필 김생(金生)을 추모하기 위하여 창건된 절로서, 사지 주변에서 나온 태평흥국명와(太平興國銘瓦)로 보아 김생이 죽은 지 200년 뒤인 984년 이전에 창건된 것으로 추정된다.
이 지역의 가장 큰 절이었으며, 조선 초기에 폐허화된 것으로 추정된다. 유물로는 현재 충북대학교에 소장되어 있는 동불상(銅佛像) 1구와 마을 앞 무당집에 봉안되어 있는 석조여래입상, 김생사강당초(金生寺講堂草)의 명와(銘瓦), 대평흥국명문와·수막새·치미(鴟尾)·와제방추차(瓦製紡錘車) 등이 있다.
이 가운데 동불상은 높이 6㎝의 소불로서 부식이 매우 심한 고려시대 작품이며, 석조여래입상은 머리가 결실되었지만 수몰되기 전까지는 김생사 터에서 지역주민들의 예배대상이 되었던 불상이다.