1984년 경상북도 기념물로 지정되었다. 신라 말엽의 뛰어난 문필가 최치원(崔致遠)이 머무르면서 공부하던 곳이라 전한다.
그는 사양길에 접어든 신라의 국운을 쇄신하는 경륜을 담은 시무십여조(時務十餘條)를 진성여왕에게 바쳤으나 채택되지 않았다.
또한, 왕건(王建)이 개국할 것을 짐작하고 상서하기를 “계림황엽곡령청송(鷄林黃葉鵠嶺靑松)”이라 하였다. 신라가 망하고 송도(松都)가 흥한다는 이 글을 보고 왕은 크게 노하였고, 최치원은 이후 해인사와 경주 남산 등에 숨어 세상에 나오지 않았다고 한다.
상서장이라는 이름은 이 집에서 왕에게 상서를 올렸다는 데서 유래한 듯하다. 현재 영정각 3칸, 상서장 5칸, 추모문 3칸, 수호실 3칸으로 구성된 3동으로 되어 있으며, 1874년(고종 11)에 건립된 비가 있다.