대한불교조계종 제6교구 본사인 마곡사(麻谷寺)의 말사이다. 886년(정강왕 1) 도선(道詵)이 창건하였으며, 1636년(인조 14) 수등(守登)화상이 중수하였으나, 자세한 사적은 전하지 않는다. 근래에는 1984년 극락보전을 중수하고 1989년 범종각을 새로 지었다.
1991년에는 1960년에 지은 적묵당을 개축하고, 1993년에는 산신각을 증축하였다. 현존하는 당우로는 대웅전과 극락보전 · 산신각 · 범종각이 있다. 고산사 대웅전은 1636년에 중수한 정면 3칸, 측면 2칸의 목조건물로, 1989년 대전광역시 유형문화재(현, 유형문화유산)로 지정되었다.
대웅전에 봉안된 불상은 중앙에 있지 않고 서단(西壇)에 동향하여 있어 특이하며, 후불탱화는 1815년(순조 15) 운문사(雲門寺)에서 조성하여 이 절에 옮겨온 것으로, 은선(銀線)을 사용하여 그린 흔하지 않은 작품이다. 대웅전 앞에는 판독이 가능한 회응당충징대사부도(回應堂冲澄大師浮屠)와 이름을 알 수 없는 작은 부도 1기가 있는데 조선시대 작품이다.