1975년 제주특별자치도 유형문화재(현, 유형문화유산)로 지정되었다. 처사(處士) 박인택(朴仁宅)을 추모하기 위해 후손들이 건립한 사당이다. 박인택은 태인(泰仁) 박씨로 조선 중기에 추자도에 유배된 것으로 전해오고 있으나 그의 행적에 대해 상세한 것은 알 길이 없다.
당초에는 지금의 사당이 있는 뒷편 산기슭의 석간수(石間水)가 흐르는 곳에서 귀양살이를 했는데, 말년에 가서는 현재 사당이 있는 곳으로 거처를 옮겨 여생을 마쳤다고 한다. 추자 입도(入島) 태인박씨의 시조가 된다.
이 사당은 한식 기와지붕에 제단을 마련했는데, 건물이 노후하여 1955년에 지붕을 스레이트로 개조했다가 현재는 다시 기와지붕을 하고 있다. 지붕은 맞배지붕이며 외벽은 잡석쌓기로 마감하였다. 창호는 정칸에만 설치했는데 띠장을 3개씩 고정한 판문이다. 바닷바람에 대응하기 위한 것으로 보인다. 처사각 안쪽에는 중앙에 감실을 만들어서 이곳에 위패를 봉안하고 있다. 감실 상부에는 ‘영모재(永慕齋)’라는 현판을 걸었고, 그 앞에 ‘밀양박씨호남시조처사묘(密陽朴氏湖南始祖處士閣)’라는 현판을 걸었다.