1576년(선조 9)에 지방유림의 공의로 정몽주(鄭夢周)의 학덕과 충절을 추모하기 위해 창건하여 위패를 모셨다. 1609년(광해군 1)에 ‘충렬(忠烈)’이라 사액되었으며, 그 뒤 정보(鄭保)와 이시직(李時稷)을 추가 배향하였다.
선현배향과 지방교육의 일익을 담당하여 오던 중 1871년(고종 8)에 대원군의 서원철폐령으로 훼철되었다. 1911년 유림에서 사우(祠宇)를 중건하였고, 1956년에 강당을 복원하고 1972년 전체를 보완 신축하여 오늘에 이르고 있다.
경내에는 6칸의 사우, 내신문(內神門) · 외신문(外神門), 동 · 서 협문(夾門), 중앙의 마루와 양쪽 협실로 된 8칸의 강당 등이 있다. 사우에는 정몽주를 주벽(主壁)으로 하여 좌우에 정보와 이시직의 위패를 배향하였다. 강당은 원내의 여러 행사와 유림의 회합 및 학문 강론장소로 사용되고 있다.
충렬서원은 1972년 경기도 유형문화재(현, 유형문화유산)로 지정되었다. 매년 3월 중정(中丁: 두 번째 丁日)과 9월 중정에 향사를 지내고 있으며, 제품(祭品)은 5변(籩)5두(豆)이다. 유물로는 『포은유간집(圃隱遺簡集)』 · 『단심가(丹心歌)』와 편각 등이 있다. 재산으로는 전답 4,000평이 있다.