횡성조씨(橫城趙氏) 중시조인 조영인(趙永仁) 3대의 공훈을 기리기 위하여 건립되었다.
조영인은 고려 명종·의종신종의 3대에 걸쳐 국가의 기틀을 잡는 데 큰 공을 세웠으며, 그의 아들 충(冲)은 고종 때 여진족을 압록강변에서 크게 무찔러 서북면원수(西北面元帥)가 되었고, 손자 계순(季珣)도 나라에 큰 공을 세웠다.
후세 사람들은 이들이 태어난 지역을 삼원수(三元帥)골이라 이름하였으며, 후손들이 사당을 세워 춘추로 제사를 지내게 되었다. 현재의 세덕사는 1988년에 횡성읍 정암리로 자리를 옮겨 새롭게 건립한 것이다. 정면 3칸, 측면 3칸의 겹처마 팔작지붕 건물이다. 2000년대에 들어 외삼문, 동·서재, 홍살문 등을 건립했다.