1977년 경기도 기념물로 지정되었다. 원래 노산사는 이항로가 살아 있던 당시 그가 경모하던 주자(朱子)와 송시열(宋時烈)의 위패와 영정을 모셔 놓았던 사당이었으나 이항로가 죽은 후에 후손들이 그의 덕업을 길이 전하고자 그의 영정을 여기에 모셔놓고 매년 제향을 올렸다.
이항로는 조선 말기의 성리학자로, 벽계마을에서 태어나 성장하고 후학을 양성하였으며 특히 주희(朱熹)와 송시열(宋時烈)을 흠모하여 그 도통을 잇고자 하였다. 그는 어려서부터 벼슬에는 관심을 두지 않고 오로지 학문에만 전념하여 후진 양성에 힘을 쏟았다. 1864년(고종 1)조두순(趙斗淳)의 천거로 장원서(掌苑署) 별제가 되었다. 이어 도사(都事), 지평(持平), 장령(掌令) 등을 역임하였다. 1866년(고종 3) 병인양요(丙寅洋擾) 때는 동부승지(同副承旨)로 재직하면서 주전론(主戰論)을 적극 주장하였다. 이어 공조참판에 승진하였으나 대원군의 경복궁 증축계획에 반대하다가 대원군의 배척을 받았다. 노산사지 인근에 1980년 경기도 유형문화재(현, 유형문화유산)로 지정된 이항로 선생 생가가 있다.
100여 평에 이르던 사당은 한국전쟁 때 불타 없어졌고 현재의 사당은 1954년 유림(儒林)들이 이항로의 높은 덕행과 학식을 기리기 위하여 과거 노산사가 있던 자리에 세운 것이다.
사당의 규모는 정면 3칸, 측면 1칸 반이며 지붕은 맞배형식이다. 1985년양평군에서 기존의 건평 6평에 1평을 증축하고 담장을 설치하여 경내 264㎡(80평)의 규모로 개축하였다. 사당의 전면에는 제월대와 묘정비 및 기념비가 있다.