1726년(영조 2)에 지방유림의 공의로 송시열(宋時烈) · 권상하(權尙夏) · 한원진(韓元震) · 권욱(權煜)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
1727년에 ‘황강(黃江)’이라 사액되어 선현배향과 지방교육의 일익을 담당하여오던 중 대원군의 서원철폐령으로 1871년(고종 8)에 훼철되었다. 그 뒤 서원이 있던 황강리가 수몰지구가 되어 1982년에 현재의 위치로 이건, 복원하였다. 경내의 건물로는 3칸의 사우, 4칸의 황강영당(黃江影堂), 재실(齋室), 묘정비(廟庭碑) 등이 있다.
사우에는 권상하의 위패가, 황강영당에는 송시열 · 한원진 · 권욱의 영정이 봉안되어 있다. 재실은 유림이 학문을 강론하는 장소 및 제향시 제관(祭官)의 숙소로 사용하여왔다. 이 서원에서는 매년 봄 · 가을에 향사를 지내고 있다. 재산으로는 대지 4,000여 평, 논 2,400평 등이 있다.