1676년(숙종 2) 이량(李0x9621)이 성삼문(成三問)의 학문과 덕행을 추모하기 위하여 옛 집 근처에 사우를 세워 제향하였으며, 1685년에 사육신 중 나머지 다섯분을 모셨다.
그 뒤, 1692년에 ‘노은’이라고 사액되었다. 선현배향과 지방교육의 일익을 담당하여오던 중 흥선대원군의 서원철폐령으로 1871년(고종 8)에 훼철되자, 지방유림이 그 자리에 설단(設壇)하여 위패를 매안(埋案)하고 매년 12월에 향사를 지내왔다.
1954년에는 홍성군 고적현창회에서 폐허가 된 단소(壇所)를 보수하고 해마다 음력 10월 15일에 향사를 지내고 있다. 단소 입구에는 1973년 충청남도 기념물로 지정된 성삼문선생유허와 서원유허비가 있다.