조선 숙종 초에 지방유림의 공의로 이서(李舒) · 심구령(沈龜齡) · 안성(安省) · 소연(蘇沿) · 소산복(蘇山福) · 이실(李宲)의 충절과 덕행을 추모하기 위하여 남원 진전방(眞田坊) 성산(城山) 아래에 사우를 창건하여 위패를 모셨다.
1789년(정조 13)에 현재의 위치로 이건함과 동시에 호암서원으로 개칭하였다. 1868년(고종 5) 대원군의 서원철폐령으로 훼철되자, 유허지에 위패를 묻고 제단을 마련하여 향사를 지내오다가 1961년에 복원하였다.
경내의 건물로는 3칸의 사우(祠宇) · 내신문(內神門), 4칸의 강당, 3칸의 전사청(典祀廳) · 외삼문(外三門) · 고사(庫舍) 등이 있다. 사우에는 이서를 주벽(主壁)으로 하여 5명의 위패가 배향되어 있다. 강당은 중앙의 마루와 양쪽 협실로 되어 있는데, 원내의 여러 행사와 유림의 회합 및 학문강론장소로 사용되고 있다.
전사청에서는 제사음식 등을 관리하며, 고사는 서원관리자가 사용하고 있다. 이 서원에서는 매년 3월 초엿샛날에 향사를 지내고 있으며, 제품(祭品)은 6변(籩)6두(豆)이다.
이 서원은 1984년 전라북도 문화재자료(현, 전북특별자치도 문화유산자료)로 지정되었으며, 유물로는『대사마실기(梁大司馬實記)』 1책 등 36종 50여 책이 소장되어 있다. 재산으로는 대지 261평, 전답 4,016평, 임야 600평 등이 있다.