1683년(숙종 9) 지방유림의 공의로 안향(安珦)의 학덕을 기리기 위하여 영당(影堂)을 건립, 영정을 봉안하여 춘추로 제향을 지내왔다. 순조 때 유림 임동승(林東昇) 등이 협력하여 서원을 창건하고 신덕재(辛德齋)와 박금서재(朴琴書齋)를 설립, 선현배향과 지방교육의 일익을 맡았다.
그 뒤 대원군의 서원철폐령으로 훼철되었다가 후손들이 사우(祠宇)를 건립하고 현판을 ’합호사(合湖祠)‘라 하였다. 1931년경에 유림이 서원복원을 추진, 1949년에 합호서원으로 복원하여 서원의 면모를 갖추었다.
경내의 건물로는 3칸의 사우, 중앙 신문(神門)과 양 옆 협문(挾門)으로 된 내삼문(內三門), 5칸의 성의재(誠意齋), 외삼문(外三門) 등이 있다. 사우에는 안향의 위패와 영정이 봉안되어 있고, 재실은 각종 행사 때 유림들의 회합장소 및 제향 때 제관의 숙소로 활용되고 있다.
매년 9월 12일에 향사를 지내고 있으며, 제품(祭品)은 4변(邊) 4두(豆)이다. 2012년 세종특별자치시 문화재자료로 지정되었으며, 유물로는 영정과 안향의 친필이 소장되어 있고 재산으로는 대지 350평 등이 있다.