1590년(선조 23)에 반충(潘沖, 1508~1584)이 공부를 하면서 휴양을 하려고 건립하였다. 반충은 본관이 거제로, 자는 중화(仲和)이고, 호는 관물당(觀物堂)이다. 어머니에 대한 효심이 극진하였으므로, 관물당의 동쪽에는 ‘충효반선생지려(忠孝潘先生之閭)’가 자리하고 있다.
관물당은 덕계리 달계마을의 나지막한 야산에 동남향으로 위치하고 있는데, 앞면에는 연꽃을 심은작은 연못이 있다. 뒷면과 좌우 옆면은 기와를 올린 나지막한 토석(土石) 담장이 둘러싸고 있다.
평면은 앞면 3칸, 옆면 1칸 반으로, 오른쪽 2칸은 온돌방이고, 왼쪽1칸은 마루이다. 온돌방의 아궁이는 옆면 받침 부분에 꾸며 놓았고, 굴뚝은 높게 쌓지 않고 연기가 빠져나가는 연도(煙道)만을 두었다. 온돌방의 좌우 옆면에는 외여닫이 띠살문을 달아 외부와 출입하도록 하였고, 앞면 툇마루쪽에는 2짝의 여닫이 띠살문을 달아 밖을 바라볼 수 있게 하였다. 앞면에는 툇마루를 놓았는데, 마루와 함께 우물마루 구조로 바닥을 마감하였다. 마루는 뒷면을 벽면으로 조성하고서 여닫이 판문 2짝을 달았으며, 앞면과 옆면은 개방된 모습이다. 툇마루에는 오른쪽에 2짝의 여닫이 판문을 달았다. 앞면 가운데칸의 여닫이 창문 2짝 위에는 ‘관물당(觀物堂)’이라고 쓴 편액이 걸려 있고, 마루의 안쪽에도 시문(詩文) 편액 2개가 걸려 있다.
건물의 받침은 앞면에 나지막한 네벌대의 축대를 쌓은 뒤, 자연석을2단으로 쌓고서 자연석 주춧돌을 놓은 다음 네모 기둥을 올린 모습이다. 기둥의 윗부분은 민도리 구조로, 장여와 보아지를 엇갈리게 끼운 사개맞춤을 하고서, 그 위에 도리와 보를 짜맞춤하였다. 가구는 5량(樑)으로, 건물 안의 네모 기둥 윗부분에 앞면의 툇보[退樑]와 뒷면의 대들보[大樑]를 짜맞추어 동자 기둥을 받도록 하였다. 앞면의 동자 기둥은 기둥과 같은 수직열에 세우지 않고 툇마루쪽으로 빼서 세웠다. 마루의 윗부분은 눈썹천정으로 꾸몄고, 지붕은 팔작지붕을 올렸는데, 홑처마의 수키와 끝에는 와구토(瓦口土)를 발라 마감하였다.
이 건물은 처음 건립하였을 당시의 모습을 정확히 알 수 없지만, 18세기 양식으로 추정되는 평면과 함께 예스럽고 소박한 통머름, 문틀의 위치와 짜임새 등에서 고식(古式)의 수법을 확인할 수 있는 건물로 평가되고 있다.