1882년(고종 19) 임오군란으로 신식군대 양성이 좌절되자, 정부는 1883년부터 장교를 양성하고 군대를 근대식으로 훈련시키기 위해 미국에 군사교관을 보내 줄 것을 요청하였다. 이에 1888년 4월 수석교관 다이(Dye,W. M.), 조교관 커민즈(Cummins,E. H.) · 리(Lee,J. G.)와 일본의 미국영사관에 근무하던 닌스테드 (Nienstead,F. J. H.) 등 4명의 미국인 교관이 내한하였다.
이들은 모두 퇴역 군인들로서, 다이 수석교관을 제외한 3명은 정규 사관학교 교육을 받은 장교는 아니었다. 조선 정부는 미국인 교관이 도착하면 곧 훈련을 시작할 수 있도록 1888년 1월부터 연무공원의 설치 준비를 시작하여 2월 6일에 완성하였다.
입학자 자격은 시(時) · 원임(原任) · 장신(將臣) · 아장(亞將)의 자제와 친척으로서 16세 이상 27세 이하의 젊은이로 하였다. 미국인 교관들은 부임초 훈련의 방법과 내용에 모든 정열을 기울였고, 학생들도 열성을 가지고 훈련을 받았다.
그러나 이 열의와 성의는 오래 지속되지 못하였다. 학생들이 양반 신분에 속하여 엄격한 군대 훈련을 받으려고 하지 않았고, 연무공원을 졸업한 뒤에도 과거에 합격해야만 무관이 될 수 있다는 제도상의 불합리와 무인을 천시하던 당시의 의식구조 때문이었다.
뿐만 아니라 한국 정부의 재정난으로 교관들에게 약속된 봉급을 제때 주지 못함으로써 사기가 저하되었고, 교관 상호 간의 시기와 불신, 교관을 파견하고자 하는 열강의 획책 등도 작용하였다. 더구나, 교관들은 당초의 계획과는 달리 사관뿐만 아니라 시위대(侍衛隊)를 포함한 궁성수비대의 일반 군인들까지도 훈련을 시켜야 하는 등 업무가 과중하여 효과적인 교육을 할 수 없었다.
별다른 성과를 보이지 못하고 있던 연무공원은 1894년 7월 23일 일본군에 의한 경복궁 점령으로 무장 해제당하고, 보유하던 신식 무기도 빼앗긴 채 형식적으로만 존재하게 되었다. 같은 해 12월 17일 칙령으로 재래의 군사기관이 모두 군무아문(軍務衙門)에 흡수되면서 자연히 없어지게 되었다.
그러나 연무공원 출신 학생들은 한말 한국 군대 내에서 중요한 역할을 담당하였는데, 그 대표적 인물로 이진호(李軫鎬) · 이범래(李範來) · 남만리(南萬里) · 이병무(李秉武) 등을 들 수 있다. 역대 운영 책임자는 민영익(閔泳翊) · 한규설(韓圭卨) · 이종건(李鍾健) · 조희연(趙羲淵) · 민영준(閔泳駿) · 김학우(金鶴羽) 등이다.