1971년 강원도 유형문화재(현, 유형문화유산)로 지정되었다. 강릉 지역의 인물들 중에서 추앙받는 이들을 배향한 사당이다. 1645년(인조 23)에 강릉 부사 강백년이 건립하고, 조은(釣隱) 최치운(崔致雲), 수헌(睡軒) 최응현(崔應賢), 삼가(三可) 박수량(朴遂良), 사휴당(四休堂) 박공달(朴公達), 원정(猿亭) 최수성(崔壽峸), 도경(蹈景) 최운우(崔雲遇) 등 육현(六賢)을 배향하였다.
후대로 오면서 1682년(숙종 8) 춘헌(春軒) 최수(崔洙)가 추향되고, 1759년(영조 35)에는 눌재(訥齋) 이성무(李成茂), 보진재(保眞齋) 김담(金譚), 농헌(聾軒) 박억추(朴億秋) 등 3향현이 추향되었다. 그리고 다시 1808년(순조 8)에 괴당(槐堂) 김윤신(金潤身)과 임경당(臨鏡堂) 김설(金說)이 배향되어 현재까지 12향현이 배향되고 있다.
향현사가 있던 곳은 현재의 위치가 아니며, 예전의 향현사는 1867년 강릉지방의 대화재로 모두 소실되었다. 향현사가 소실된 뒤 지역에서 이를 복구하고자 했으나 1868년(고종 5) 비사액서원 철폐령이 내려지면서 좌절되었다.
현재의 건물은 1921년 배향인물의 후손들이 건립한 것이다. 1996년에 황영조(黃永祚)기념체육관 건립 관계로 바로 뒷편으로 이전하였다. 사당은 정면 3칸, 측면 2칸의 크기에 맞배지붕을 하고 있으며, 대문과 재방(齋房)은 5칸이다. 삭망에는 분향을 하고, 음력 8월 중정일(中丁日)에 제례를 지낸다.