1983년 경상북도 유형문화재로 지정되었다. 월하 조운도(趙運道)가 만곡 조술도(趙述道)와 함께 1764년에 공역을 시작하여 1773년에 완성하였다. 한양조씨(漢陽趙氏), 함양오씨(咸陽吳氏), 야성정씨(野性鄭氏)가 함께 건축하였으며, 영산서당이 서원으로 승격된 후 영양군에서 처음 지어진 서당이다. 강당과 동·서재로 구성되었고, 동·서재는 동리강학소(洞里講學所)로서의 기능과 함께 동리회관(洞里會館)의 역할을 동시에 수행하였다.
당시 서당은 설립은 관변측(官邊側)의 지원없이 순수 민자에 의해 이루어졌고, 그 운영 또한 조씨일문(趙氏一門)의 자치권 하에서 이루어졌다. 서당은 설립 당시 모두 8칸으로 구성되었다. 가운데에 강당 4칸이 있고 좌우에 각각 2칸의 동재(東齋)와 서재(西齋)가 있다.