조선시대 남소영(南小營) 터에 있었다. 남소영은 한양 도성(都城)의 남소문 일대를 지키는 군영(軍營)으로 194칸의 건물이 있었다. 1959년 1월이승만(李承晩)대통령의 발의로 이곳에 국빈을 위한 건물을 짓기 시작했으나 4·19와 5·16으로 공사가 중단되었다.
1965년 2월 박정희(朴正熙)대통령의 지시로 총무처가 건립에 착수, 1967년 2월에 준공되었다. 규모는 2만 8000평의 부지에 연건평 1,000여 평이었으며 수많은 관상수로 미관을 갖추었다. 준공 직후 독일연방공화국 대통령이 첫 손님으로 다녀갔으며 그 뒤 한국을 방문하는 국빈급인사들은 주로 이곳에 유숙하였다.
그 가운데에는 1972년의 남북대화 때 북한측의 일부대표들도 있다. 1973년 6월 국세청 관제회의에서 매각을 결정한 후 같은해 7월 신라호텔이 이 건물을 인수하였으며, 현재는 호텔의 일부로서 영빈관으로서의 기능이 없어졌으나 회의장으로 사용되고 있다.