1704년(숙종 30)에 고을의 유림들이 고려 중기에 평장사를 지낸 영헌공(英憲公) 김지대(金之岱, 1190∼1266)의 충효쌍수(忠孝雙修) 정신을 기리기 위해 세운 서원이다. 1996년 3월 11일에 경상남도 문화재자료(현, 문화유산자료)로 지정되었다.
1704년에 김지대를 제향하기 위해 창건되었다가 1868(고종 5)에 흥선대원군의 서원 철폐령에 따라 훼철되었다. 1907년(융희 1)에 기존의 낡은 강당을 철거하고 새로 지었다. 1954년에 다시 구 강당을 철거하고 지금의 쌍수당(雙修堂)을 신축하였다. 1986년부터 서원 복원을 추진하여 1989년에 묘우(廟宇)를 완공하였다. 1990년에 김지대의 5세손인 김한귀(金漢貴)와 7세손인 김점(金漸)을 함께 배양하여 현재에 이르고 있다.
김지대는 청도김씨의 시조로서 1271년(고종 4)에 거란이 침입하자 병환 중인 아버지를 대신하여 종군하면서 “국가의 어려움은 신하의 어려움이요, 어버이의 근심은 자식의 근심할 바이다. 어버이를 대신하여 나라에 보답한다면 충과 효를 닦을 수 있을 것이다.[國忠臣之患, 親憂子所憂, 代親如報國, 忠孝可雙修]”라는 시를 지었다고 한다. 묘우(廟宇)인 충효사(忠孝祠)와 강당인 쌍수당의 명칭은 그가 지은 “충과 효를 함께 닦을 수 있다.[忠孝可雙修]”라는 싯구에서 따왔다.
건물은 충효사, 쌍수당, 내삼문인 대보문(代報門), 동재인 원청제(元淸齋), 서재인 강의재(剛毅齋), 외삼문인 상덕문(尙德門) 등으로 이루어져 있다. 쌍수당은 정면 6칸, 측면 1칸 반으로 중앙 2칸에 마루를 두고 좌우에 온돌방을 두었다. 충효사는 정면 3칸, 측면 2칸 규모로 쌍수당 우측에 위치한다. 향사일은 음력 3월 첫번째 亥(해)일이다.