1705년(숙종 31)에 최찬규(崔燦圭) · 최찬기(崔燦基) 등이 지방유림과 협력하여 이세필(李世弼)의 학문과 덕행을 기리기 위하여 생사당(生祠堂)과 흥학비각(興學碑閣)을 세우고 용산사(龍山祠)라 하였다.
이세필이 죽은 이듬해인 1719년(숙종 45)에 위패를 모시고 용산서원으로 개편하였다. 1729년(영조 5) 사우 · 강당 · 동서재를 중건하였고, 1749년(영조 25)에 삼척부사 박상영(朴尙榮)이 비각(碑閣)을 중건하였다. 1784년(정조 8)에 화재로 소실되었다가 1789년에 중건하였다. 1858년(철종 9)에 정동영당(鼎洞影堂)에 있던 정지용(鄭元容) 위패를 용산서원에 이봉(移奉)하였다. 선현배향과 지방교육의 일익을 담당하여오던 중 대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었다.
그 뒤 1956년에 최만희(崔晩熙) · 홍질현(洪櫍鉉) 등이 중심이 되어 현재의 위치에 복원하고, 이이(李珥)와 송시열(宋時烈)을 추가 배향하였다. 1984년에 다시 이이와 송시열의 위패는 훼철하고 이세필만 단독 배향하고 있다.
경내의 건물로는 3칸의 사우(祠宇), 각 4칸의 동재(東齋)와 서재(西齋), 신문(神門), 고사(雇舍) 등이 있다. 사우에는 이세필의 위패가 봉안되어 있으며, 동재와 서재는 유림의 회합과 학문강론 및 숙소로 사용하고 있다. 고사는 서원의 관리인이 기거하는 곳이다.
용산서원에서는 매년 3월 3일과 9월 9일에 향사(享祀)를 지내고 있으며, 제품(祭品)은 4변(籩) 4두(豆)이다. 이 서원의 학규현판은 1982년 강원도 유형문화재(현, 유형문화유산)로 지정되었다.
소장하고 있는 전적으로는 『천금록(天禁錄)』 · 『분향록(焚香錄)』 · 『제관록(祭官錄)』 · 『도기(到記)』 등이 있으며, 재산으로는 전답 2,000여 평, 임야 4,800여 평 등이 있다.