영화당(映花堂) 동남쪽인 지금의 춘당대(春塘臺) 동편에 있었다. 이 곳은 본래 성종 때 한 줄기에 아홉 개의 가지가 달린 특이한 파가 돋아나 ‘서총(瑞葱)’이라고 불린 곳이다. 연산군이 이를 기념하고 아울러 유흥의 장소로 삼기 위하여 서총대를 쌓았던 것이다.
1505년(연산군 11)부터 공사를 시작해 1년 이상 지속했고 수만 명의 인원이 동원되었다. 100척의 높이로 석축을 쌓아 대를 만들고 수백 명이 앉을 수 있는 화려한 돌난간을 만들었다. 그 아래에는 수십길의 깊이로 못을 파서 배를 띄우고, 옆에는 아름다운 정자를 지었다.
1년 이상 지속된 대공사였으므로 자금조달을 위한 부세(賦稅)의 독촉도 심하였다. 심한 독촉에 백성들은 입고 있던 바지 솜을 타서 베를 만들어 바치기도 하였다. 이렇게 바친 면포는 부실하게 급조된 추악한 것이 대부분이었다. 이 때문에 세금으로 낸 서총대포는 품질이 나쁜 포의 대명사가 되었다.
결국 일부 공사는 완성되지 못한 채 1506년 중종반정과 함께 중지되었다. 서총대 공사는 연산군의 실정을 상징하는 대표적인 사례였다. 이런 까닭에 1507년(중종 2) 윤1월 중종은 서총대를 철거하도록 명하였다.
서총대 일대는 경치가 아름다워 주로 왕실의 연회장소로 사용되었다. 또 무술시험장이 있어 무과의 과장이 되기도 하였다. 특히 광해군 대에 여러 차례 관무재(觀武才) 행사가 있었다.