1573년(선조 6)에 지방유림의 공의로 이황(李滉)의 학문과 덕행을 추모하기 위하여 월곡면 도곡동에 창건하여 위패를 모셨으며, 이 때에는 여강서원(廬江書院)이라고 하였다.
1620년(광해군 12)에 김성일(金誠一)과 유성룡(柳成龍)을 추가배향하였으며, 1676년(숙종 2)에 ’호계(虎溪)‘라 사액되었다. 그 뒤 이황은 도산서원, 김성일은 임천서원, 유성룡은 병산서원에서 주향(主享)함에 따라 호계서원은 강당만 남게 되었다.
그 뒤 1973년 안동댐건설로 수몰하게 되어 현재의 위치로 이건하였다. 강당은 1973년 경상북도 유형문화재(현, 유형문화유산)로 지정되었다.
정면 5칸, 측면 3칸으로 중앙의 마루와 양쪽 협실로 되어 있으며, 평면상으로는 一자집이나 지붕 양쪽 끝만이 정면을 보고 있는 맞배지붕으로서 날개집 지붕과 비슷한 매우 특이한 형태를 보이고 있다. 전체형태는 ㄷ자형으로 겹처마집이다.