1403년(태종 3)에 당시 경상도관찰사였던 남재(南在)가 길재(吉再)가 거처하던 곳에 가묘(家廟)로 사당을 건립하였다.
그 뒤에 길재의 유상(遺像)을 봉안하고 향사하다가 건물이 퇴락하여 1583년(선조 16)에 선산부사 유덕수(柳德粹)가 중수하였으나 임진왜란으로 소실되었다.
1602년에 선산부사 김용(金涌)이 다시 중건하였으며, 그 뒤 순조 때에 이르러 크게 중수하였다. 지금의 건물은 1972년에 후손이 중수한 것으로 정면 3칸, 측면 2칸이다. 사당 안에는 충절(忠節)이라는 시호교지와 《야은문집 冶隱文集》의 판각본 및 문집 1백여 권이 보존되어 있다.