1987년 충청북도 기념물로 지정되었다. 노수신은 1545년(인종 1) 사간원정언이 되어 이기(李芑)를 파면시켰는데, 명종이 즉위하자 윤원형(尹元衡) · 이기의 옥사 즉 을사사화가 일어나 그들에게 파면당하고, 이듬해(1546)에 순천에 유배되었다가 이 해에 벽서(壁書)의 변이 일어나자 죄가 더해져서 진도(珍島)에 옮겨져 19년 동안 귀양을 살다가 1565년(명종 20)에 괴산의 이곳으로 다시 옮겨져 1567년(선조 1)까지 2년 동안 유배생활을 하였다.
본래의 적소는 그가 이름지은 연하동(煙霞洞)에 있었으나 칠성수력발전소 댐의 건설로 물에 잠기게 되자 1957년 지금의 자리로 옮겨 세웠다.
건물은 정면 3칸 측면 1칸반 홑처마 팔작지붕 목조기와집으로 중앙에 우물마루를 깐 대청 1칸이 있고, 좌우에 온돌방 각 1칸이 있으며, 앞면에 툇마루를 둔 간소한 형태로서 “수월정(水月亭)”이라 쓴 편액이 걸려 있다.