대한불교조계종 제21교구 본사인 송광사(松廣寺)의 말사이다.
창건연대는 알 수 없으나 신라의 지증왕이나 법흥왕 때 세워진 것으로 추정되고 있다. 그 뒤 삼국통일을 전후한 문무왕 때 원효(元曉)가 이곳에 머물면서 암자를 개축한 뒤부터 원효사 · 원효당 · 원효암 등의 이름으로 불렀다고 한다. 일설에는 고려 충숙왕 당시의 이름 있는 화엄종승(華嚴宗僧)이 창건한 뒤 원효를 사모하는 마음에서 원효암이라 했다고도 한다.
그 후의 역사는 입증할 길이 없으나 문정왕후(文定王后)의 섭정 때 사세(寺勢)가 다시 일어났으며, 선조 때의 승병장이었던 영규(靈圭)가 수도했던 곳이기도 하다. 정유재란 때 전소된 뒤 증심사(證心寺)를 중창했던 석경(釋經)이 직접 기와를 구워 중창하였다.
그 뒤 1636년(인조 14)에 신원(信元)이, 1685년(숙종 11)에는 신옥(信玉)과 정식(淨式)이, 1789년(정조 13)에는 회운(會雲)이, 1831년(순조 31)과 1847년(헌종 13)에는 내원(乃圓)이 각각 중수하였다.
6·25전쟁으로 소실된 것을 광주광역시 당국의 무등산 개발에 힘입어 1954년부터 중창에 착수하였다. 이 때 정면 3칸, 측면 1칸의 맞배지붕으로 된 대웅전, 선원(禪院)과 요사(寮舍) 등을 중건하였다.
이 공사 때 옛 절터에서 삼국시대의 금동불상 6점을 비롯하여 백제의 토기와 와당, 통일신라시대의 금동불상 6점, 고려시대의 철불두상(鐵佛頭像) · 고려자기 및 기타 고려시대와 조선시대에 만든 토기불두(土器佛頭) 140점이 출토되었다. 이들 출토 유물 중 32점은 일괄하여 1987년 광주광역시 유형문화재(현, 유형문화유산)로 지정되었다.
또한, 절 주변에는 무명의 고려시대 묘탑을 비롯하여 조선 중기의 회운당부도(會雲堂浮屠) 등이 산재되어 있다. 부도는 높이 2m이고 4각 지대석(地臺石) 위의 4우(隅)에 신장(神將)을 세운 중대석을 놓고 그 위에 연화대로 받쳐진 탑신을 얹고 있는데, 옥개는 역시 8각으로 각 마루에는 용 · 거북 · 비둘기 등의 동물들이 조각되어 있다. 이 부도는 1986년 광주광역시 유형문화재로 지정되었으며, 지정명칭은 원효사 동부도이다.
이외 원효사 선원에는 1989년 광주광역시 시도유형문화재로 지정된 원효사소장만수사범종이 있다.
이 절에서 무등산의 정상 쪽으로 골짜기를 넘은 곳에 의상대(義湘臺)라는 매우 수려한 바위 봉우리가 있으며, 그 아래에는 의상토굴이 있다.