1987년 충청북도 유형문화재(현, 유형문화유산)로 지정되었다. 본래의 건물은 송시열(宋時烈)의 『의창중수기(義倉重修記)』에 따르면 1654년(효종 5) 의창 건물을 헐어서 세웠다고 하며, 1674년(현종 15)과 1893년(고종 30)에 중수하였다.
본체 건물은 정면 5칸ㆍ옆면 2칸의 홑처마맞배지붕 목조기와집으로 좌측부터 부엌, 온돌방 2칸, 마루 2칸을 두었다. 현판은 ‘沃州司馬所(옥주사마소)’라고 되어 있는데, 옥천군을 옥주(沃州)라고 부른 것은 1313년(고려 충선왕 5)부터 1413년(조선 태종 13)까지 였다.
사마소란 16세기 초 훈구파들의 유향소 장악에 대한 반발로 사마시(司馬試) 출신의 젊은 유림들이 향권을 주도하기 위해 세운 학문ㆍ교육기관이다. 1658년송시열이 쓴 『사마안(司馬案)』에 따르면 옥천 지방의 소과(小科) 이상의 급제자는 165인에 이르렀다.