1982년 전라남도 기념물로 지정되었다. 노사(蘆沙)기정진(奇正鎭)이 1878년에 정사(精舍)를 지어 담대헌(澹對軒)이라 이름하고 학문을 강론하던 곳인데 후손들이 1924년에 중건하여 1927년에 고산서원(高山書院)이라 편액을 건 곳이다.
문정공(文靖公)기정진이 주향(主享)되었으며, 김녹휴(金錄休) · 조의곤(曺毅坤) · 정재규(鄭載圭) · 기우만(奇宇萬) · 김석구(金錫龜) · 정의림(鄭義林) · 이최선(李最善) 등의 위패가 배향(配享)되었다.
현재 경내에는 외삼문(外三門), 강당(講堂), 동재(東齋)인 거경재(居敬齋), 서재(西齋)인 집의재(集義齋)가 강학공간(講學空間)을 이루고, 내삼문(內三門), 사당(祠堂)인 고산사(高山祠)가 제향공간(祭享空間)을 이루고 있고, 선생의 문집(文集)과 목판(木板) 등이 장판각(藏板閣)에 보관되어 있다. 장성고산서원노사선생전집(長城高山書院蘆沙先生全集) 및 답문류편목판(答問類編木板)은 1999년 전라남도 유형문화재(현, 유형문화유산)로 지정되었다. 음력 3월, 9월 중정일에 향사를 지내고 있다.