민간 전설에 따르면 1455년(단종 3) 단종의 손위(遜位) 이후 무동처사(楙洞處士) 류윤(柳潤)이 벼슬에 뜻을 버리고 낙향하여 정원수로 삼았다고 전해진다.
향나무는 목재로 이용할 뿐만 아니라 향료로서 제향 때 분향(焚香) 용도로 널리 쓰여 왔다. 이로 인해 제사와 관련한 장소에 식재하는 경우가 많다. 송곡서원에 좌우로 대칭되게 식재된 두 그루의 향나무는 태극(太極) 음양(陰陽) 사상을 나타낸 것으로 여겨지며 제례 공간에서 널리 찾아볼 수 있는 양식이다.
송곡서원의 제향은 매년 음력 2월과 8월 마지막 정일(丁日)에 지내고 있으며, 제품은 7변(籩) 7두(豆)이다.
2005년에 충청남도기념물로 지정되었고, 2018년 5월 3일 천연기념물로 승격 지정되었다. 국가유산 구역은 2,975㎡이다