신라 장군 김유신이 백제와 고구려를 평정한 뒤에 조상의 음덕을 빌기 위해 창건한 절이다. 고구려가 멸망한 668년에서 김유신이 사망한 673년 사이에 건립된 것으로 여겨지지만 절의 연혁이나 위치 등에 대해서는 자세히 알 수 없다.
『삼국유사(三國遺事)』 기이(紀異)편에 의하면 779년(혜공왕 15) 4월 혜공왕은 김유신의 혼령이 미추왕릉으로 가서 자신의 자손이 무고하게 주살당했다며 신라를 떠나고자 한다고 이야기했다는 것을 전해 듣고는 대신(大臣) 김경신(金敬信)을 보내어 제사를 드려 사과하고, 취선사에 밭 30결(結)을 바쳐 김유신의 명복을 빌게 하였다고 한다. 그 뒤 취선사에서는 이 토지를 재원으로 공덕보를 설치, 운영하였다.