1921년 3월송병준(宋秉畯)에 의하여 조선농업주식회사(朝鮮農業株式會社)가 설립되면서 정식으로 개시(開市)하게 되었으며, 남문(南門) 안장 또는 신창(新倉) 안장이라고도 불렸다. 그러나 이보다 훨씬 이전인 1414년(태종 14) 조정에서 남대문 언저리에 가게를 지어 지정된 상인들에게 빌려주기도 하였다.
그 뒤 임진왜란 이후인 1608년(선조 41) 지방에서 올라오는 세공(歲貢)·세곡(稅穀) 등을 보관하고 포(布)·전(錢)의 출납을 맡아보는 선혜청(宣惠廳)이 지금의 남창동 부근에 설치되게 됨에 따라, 남대문 밖 칠패(七牌)에는 자연히 객사와 주막이 생기고 사상도매(私商都賣)의 시장이 형성되게 되었다.
이것이 이곳에 시장이 생기게 된 연유이다. 개시 초기 주로 거래되었던 품목은 미곡·어류·과물·잡화 등이었는데 미곡을 비롯한 곡물류가 가장 많이 거래되었다. 1922년 조선총독부에서 행한 조사에 따르면 남대문시장 거래액 중 농산물이 77%로 가장 많고 수산물이 5%, 기타 17%이다.
1922년 시장경영권이 일본인 회사인 중앙물산주식회사(中央物産株式會社)로 넘어가게 되어 명칭도 중앙물산시장으로 바뀌었지만, 우리 나라 사람들은 계속해서 남대문시장이라고 불렀다. 광복 이후 일본인들이 물러나자 상인들로만 구성된 남대문상인연합회가 구성되어 시장을 관리, 운영하게 되었다.
그러나 곧 6·25전쟁을 맞아 완전히 폐허가 되었다. 서울이 수복된 뒤 다시 시장이 형성되어 당시 피난민들의 생활터전으로 큰 구실을 하게 되었다. 그러나 1953년 화재발생으로 시장은 전소되어버렸고, 1954년 상인들에 의하여 서울남대문시장주식회사가 설립되어 재건이 시작되었지만, 재정난으로 얼마 지나지 않아 해산되어버렸다.
1958년 대지 약 1만 2000평, 건평 약 2,000평 규모의 건물이 세워지고 1963년남대문시장주식회사가 다시 발족되었지만, 1968년 또다시 대화재로 시장 중심부가 전소되었으며, 1975년에도 화재가 발생, 시장 일부가 불탔다.
1995년 현재 남대문시장은 대지면적 2만 467㎡, 건물연면적 6만 4613㎡에 종사자수가 9,900명으로 서울 최대의 서민시장이다. 노점상에서부터 현대식 백화점에 이르기까지 고루 갖추고 있으며, 점포수만 5,400개이고 시장노점상 또한 빽빽이 들어서 있다. 업종도 의류·청과·식품·잡화 등 모든 것을 망라하고 있다.
예전에는 주업종이 농산물이었지만, 지금은 의류취급점포가 다수이다. 그 밖에 농수산물과 축산물 등 주로 생식품류 취급상가, 일명 도깨비시장이라고 하는 외래품취급상가·공예품전문상가·악세서리전문상가 등이 있다.
그리고 우리 나라 시계회사의 대리점이 모여 있는 세칭 시계골목이 있어 싼 값에 시계를 구입할 수 있고, 1980년에 세워진 숭례문시장에는 592개의 점포에서 주로 수입상품을 취급하고 있다. 남대문시장의 상권은 거의 모든 품목이 전국적인데, 특히 의류의 경우 전국 기성복의 반 정도를 공급하고 있어, 전국 최대의 의류도매상가가 되고 있다.
뿐만 아니라 거래되지 않는 상품이 없다고 할 수 있을 정도로 건축자재와 가구류를 제외한 다종다양한 상품이 팔리고 있어, 전국을 지배하는 우리 나라 최고(最古)·최대의 종합시장으로 기능하고 있다. 이는 시설의 현대화와 더불어 의류 및 잡화, 수입품의 전문 도·소매 시장화를 통해 가능했다.
따라서, 남대문시장은 경기변동에 민감하여 실물경제의 흐름을 대변하는 우리 나라의 얼굴이 되는 시장이며, 서울의 관광명소로 손꼽히고 있다.