‘장군댕’이라고도 한다. 660년(무열왕 7) 김유신(金庾信)이 백제를 공략하기 위해 경주를 출발하여 사비성으로 향하던 중 영천·신녕·소계(현재 효령면 화계리)를 거쳐 이 곳 장군당이 있는 장군리에 진을 치고 군사를 주둔시켰다.
이를 기리기 위해 고려 말엽 이곳 사람들이 산 위에 조그마한 사당을 지어 장군당이라 하고, 김유신의 위패를 모셨다. 매년 단오날이면 사당 주위에 많은 기치창검을 둘러세우고 북을 치며 현감 이하 여러 관원과 지방민들이 제사를 지냈다. 일각문인 일통문(一統門)을 정문으로 두고 담장 안에 정면 3칸, 측면 1칸의 초익공 맞배지붕 건물이 위치하고 있다. 사당의 중앙에는 ‘효령사(孝靈祠)’라는 현판을 달았다. 효령사는 1993년에 새롭게 중건한 건물이다.