1906년 5월 1일 민영휘(閔泳徽)가 서울 종로구 원서동 관상감(觀象監) 터에 교사를 신축하여 휘문의숙(徽文義塾)으로 개교하였다. 고종으로부터 ‘휘문’이란 교명을 하사받았으며, 학생 수는 고등소학과 65명, 중학과 65명이었다.
본래 휘문의숙의 전신은 1904년 9월민영휘가 구국사업의 일환으로 종로구 경운동에 있던 자택에 개설한 광성의숙(廣成義塾)으로, 학생 수가 증가하자 교사를 신축하여 이전하면서 학부(學部)의 정식 인가를 받아 휘문의숙으로 개교하게 된 것이다.
1910년에 제1회 졸업생 32명을 배출하였으며, 당시 교과목은 수신ㆍ한문ㆍ역사ㆍ지지(地誌)ㆍ물리ㆍ산술ㆍ작문ㆍ영어ㆍ도화ㆍ체조 등이었다. 개교와 함께 인쇄부인 휘문관(徽文館)을 두어 모든 교재를 자체 출판하였으며, 저작자는 모두 휘문의숙의 교사였다. 1908년부터 교복을 착용하였고, 1910년 3월 휘문의숙교우회가 발족되었다.
1918년 4월휘문고등보통학교로 교명을 변경하였고, 1922년 4월 수업연한이 4년에서 5년으로 연장되었다. 1938년 4월휘문중학교로 교명을 변경하였고, 1946년 7월 수업연한이 6년으로 개편되었다.
1951년 9월 학제개정에 따라 휘문중학교와 분리되어 휘문고등학교로 개편되었으며, 1977년 9월 같은 구내에 있던 휘문중학교가 서울 강남구 삼성동 교사로 이전하였다. 1978년 1월서울시 강남구 대치동 현재의 위치에 교사를 신축하여 이전하였다. 1996년『휘문 90년사』와 2006년 개교 100주년을 기념하여 『휘문 100년사』를 간행하였다.
교훈은 ‘큰 사람이 되자’이다. 지ㆍ덕ㆍ체를 겸비한 창의적 인재 육성을 교육목표로 해서 영어전용구역(English Only Zone), 영어 전용교실, 원어민 교사 배치 등 영어 공교육 강화와 학교 선택권 확대, 방과후학교 활성화, 학교생활 안정망 구축 등에 역점을 두고 교육활동을 전개하고 있다.
학생운동에 있어서는 일제강점기에 민족사학의 아성답게 3ㆍ1운동 당시 만세운동에 앞장서 3명이 옥고를 치룬 기록이 남아있다. 1921년 한글학회의 모체가 되는 조선어연구회에 임경재(任暻宰) 교장과 국어교사 이병기(李秉岐)ㆍ권덕규(權悳奎)가 참여하면서 학교 강당에서 조선어연구회가 창립되었다. 1928년 교장의 친일적 태도에 항거하고 조선어 시간의 연장을 요구하며 동맹휴학에 들어가 30여 명이 퇴교조치 되었으며, 1930년에는 광주학생사건이 발생하자 400여 명의 학생이 동조시위에 참가하여 수십 명이 경찰에 검거되었다.
계발활동으로는 현재 보컬반ㆍ애니메이션반ㆍ천체관측반ㆍ합창반 등 60여 개 동아리가 활동하고 있다. 10월 중순에 열리는 종합축제 ‘휘문의 밤’에서는 문예반의 작품발표회와 1913년 고종이 악기를 하사하여 창설된 기악반의 연주회, 방송반의 방송축제를 비롯하여 각 동아리의 전시와 공연이 펼쳐진다. 1961년부터 학생들의 창작 의욕을 북돋아 주고자 희중문학상(稀重文學賞)을 신설하여 학생들의 작품을 매년 시상해 오고 있는데, 최우수 작품에는 박종화(朴鍾和)의 월탄상(月灘賞)이 수여된다.
운동부로는 농구부와 1907년에 창설된 야구부가 활동하고 있다. 야구부는 1996년 제30회 대통령배 전국야구대회와 제51회 청룡기 전국야구대회를 석권하였고, 농구부는 신동파ㆍ서장훈ㆍ현주엽 등을 배출하는 등 고교 농구계의 강자로 자리잡고 있다.
학술활동으로는 문예반이 1923년에 교지 『휘문(徽文)』, 영어반이 1955년 고등학교로는 최초로 영자신문인 『The Whimoon Times』, 학보반이 1958년에 교내신문 『휘문』을 창간한 후 현재까지 정기적으로 발행하고 있다.
2010년 현재 47학급에 총 1,989명의 학생이 재학하고 있다. 교직원은 107명이 재직하고 있고, 102회 졸업식을 거치면서 총 3만 3,000여 명의 졸업생을 배출하였다.