휴전협정과 휴전실현을 위한 휴전 관리기구는 한국문제 해결을 위한 임시적인 조치의 성격을 띠는 것이었고 보다 전반적인 문제에 대해서는 정치적 협상에 의해 조정될 계획이었다. 휴전협정은 남북한에 막대한 고통과 출혈을 가져온 전쟁을 중지하고 평화적 해결이 달성될 때까지 한국 내에서의 적대행위와 일체 무장행동의 금지를 보장하여 휴전을 실시할 목적으로 쌍방 군사령관 간에 이루어진 협정이며 군사적 성격을 띠는 것이었다.
휴전협정 하에서의 모든 감시는 군사정전위원회(MAC)의 책임이었다. 동 위원회는 휴전협정의 이행을 감독하며 위반 사건을 협의 처리하는 공동 기구로서 기능하였다. 본 위원회는 10명의 고급 장교로 구성되며, 쌍방이 각기 5명씩 임명하되 5명 중 3명은 장성급으로 하고 나머지 2명은 대령급 이상인 자로 임명할 수 있게 하였다. 아울러 동 위원회는 처음에 10개의 감시소조를 두어 그 협조를 받기로 하였다. 공동감시소조의 수는 4명 내지 6명의 영관장교로 구성하되 쌍방이 각기 반수씩 임명하도록 되었으며, 감시소조의 사업상 필요한 운전수, 서기, 통역 등의 부속 인원을 쌍방이 제공하기로 하였다.
군사정전위원회는 휴전협정의 실시를 감시하며 협정의 어떠한 위반사건이라도 협의를 통해 처리하는 것이었다. 또한 공동감시소조를 통해 비무장지대로부터 부대의 철수와 철수 후 45일 이내에 모든 폭발물, 지뢰원, 철조망 및 기타 위험물의 제거 여부를 감독함에 있어 유용한 일들을 수행하였다. 만일 쌍방의 동의 없이 또한 철거를 연기할 합당한 이유 없이 기한을 넘기는 경우에는 필요한 모든 조치를 취할 권리가 있었다.
한편 한반도에서 새로이 군사력을 증강시키는 것을 금지시키는 것은 4개국으로 구성된 중립국감시위원회(NNSC: Neutral Nations Supervisory Commission)의 과업이었다. 스위스, 스웨덴, 폴란드, 체코슬로바키아 4개국으로 구성된 중립국감시위원회는 지정된 남북한 각 5개 출입항(한국의 인천·대구·부산·강릉·군산과 북한의 신의주·청진·흥남·만포·신안주)을 경유하여 교체되는 병력, 군사 장비 및 탄약에 대한 감독·감시·시찰 그리고 조사를 실시하여 그 결과를 군사정전위원회에 보고하는 공동 기구이다. 본 위원회는 4명의 고급 장교로 구성되며, 그중 2명은 유엔군에서 지명한 중립국인 스위스와 스웨덴이 임명하고 다른 2명은 공산군에서 지명한 폴란드와 체코슬로바키아가 임명하였다.
중립국감시위원회는 본부를 군사정전위원회 본부 부근에 설치하며, 주요 임무는 위원 및 중립국 감시 소조를 통하여 지정된 출입항에서 군사 인원과 작전비행기, 장갑차량, 무기 및 탄약의 반입을 규제하기 위한 감독과 시찰을 진행하며 또 휴전협정 위반사건이 발생하였다고 보고된 지점에서 특별 감시와 시찰을 진행하는 것이었다. 병력과 장비 등의 교체가 필요한 경우에는 휴전협정에 열거된 출입항을 경유하여서만 입출이 허용되었다.
또 협정 위반사건이 보고된 경우 협정의 범위 내에서 지체 없이 조사하며, 이에는 군사정전위원회 또는 동 위원회중의 어느 일방 수석위원이 요청하는 보고된 휴전협정 위반사건에 대한 조사를 포함하였다.
위원회의 활동에 대한 제한이 날이 갈수록 커지게 되자 이때까지 인내를 거듭하여 온 스위스와 스웨덴 대표도 1954년 3월 29일에 이르러서는 그 불만의 뜻을 공식적으로 유엔에 제기하였고, 4월 5일에는 감시를 위한 노력이 완전히 좌절되었음을 발표하였다.
이어서 5월 13일 스위스와 스웨덴 양국 대표는 군사정전위원회의 유엔측대표에게 보낸 서한에서 공산측의 위반 사실 조사를 요구한 유엔측의 요청이 체코와 폴란드 대표에 의해서 거부된 사실을 밝히고 앞으로는 북한에 대한 감시의 실패에 대하여 일체 책임질 수 없음을 부언하였다.
이리하여 양국 대표는 제네바 극동 평화 회의에 항의서를 제출하고 그들 자신을 북한에 대한 감시라는 불가능한 과업으로부터 해제시켜 줄 것을 요구하게 되었다. 이로써 휴전협정서에 입각한 휴전 감시 규정은 그 현실 면에 있어서 거의 사문화되고 말았다.
그리하여 유엔군 사령부는 1957년에 이르러 마침내 “향후부터 남한으로의 군수물자 도입 금지 조항을 무시할 것이며, 제8군과 한국 육군의 증강을 추진할 것”이라는 내용을 발표하기에 이르렀다.
이와 같이 휴전협정에 따라 설치된 군사정전위원회·중립국감시위원회 등의 휴전관리기구가 활동을 개시하면서 휴전협정 이행을 감시하며 포로 송환을 비롯한 관련 사항들의 구체적인 방법과 절차가 논의하기 시작하였다. 그리고 한편으로는 포로 송환을 위한 수송 대열이 남과 북에서 각각 판문점으로 향하여 이동하기 시작하였다.
휴전협정이 발효된 이래 1985년 말까지 쌍방이 주장한 휴전협정 위반사건의 수는 모두 13만 3,075건으로, 이 가운데 북한측이 주장한 유엔군측 휴전협정 위반 건수는 4만 2,303건이고, 유엔군측이 제시한 공산군측의 협정 위반 건수는 9만 772건이었다.
군사정전위원회는 이러한 사건들을 토의하기 위해 모두 423차의 본회담과 472차의 비서장회의를 개최하였다. 이 기간 중 공산군측의 주요 협정 위반사실을 살펴보면, 휴전협정이 조인된 직후 북한측은 휴전성립 당시의 수준 이상으로 군사력을 증강해서는 안 된다는 휴전협정 규정을 묵살하고, 협정에서 규정한 5개 항구 외에도 만주와 북한을 잇는 새로운 철도를 건설하여 대량의 군수물자를 반입하였으며, 전쟁 중에 궤멸되다시피 했던 공군력을 새로이 증강했다.
이에 따라 유엔군측은 1957년 6월에 열린 제75차 군사정전위원회 본회담에서 북한측이 협정조항을 성실히 이행할 때까지 유엔군측도 이 조항 준수를 보류할 것이라고 선언함으로써 이 협정조항은 사실상 효력을 상실하였다.
이 밖에 북한측은 무장간첩과 특공대를 남파했고, 민간어선을 납치하고 이를 보호 중인 아군함정을 공격했으며, 비무장지대를 요새화하여 다량의 중화기를 배치하고, 비무장지대에서 근무하는 아군에 각종 도발을 자행하는 등 공공연하게 휴전협정을 위반해 왔다.
그럼에도 불구하고 북한측은 휴전 직후에 발생한 단 2건의 위반사실만을 시인했을 뿐, 나머지는 모두 부인하였다. 그리고 군사정전회의 때마다 북한측은 유엔군측이 제시하는 뚜렷한 증거자료에도 불구하고 휴전협정 위반사실과 그에 대한 책임을 부인하면서 그러한 사실 등이 오히려 유엔군측의 ‘날조행위’라고 주장했다.
군사정전위원회는 북한측의 무성의한 자세와 무책임한 태도로 말미암아 활동과 기능이 상당한 제약을 받아왔음에도 불구하고, 쌍방의 직접·간접적인 의사전달기구 구실을 담당함으로써 남북간의 전면적인 무력대결을 억제하고 한반도정세의 안정에 기여해 왔다. 중대한 휴전협정 위반사실이 발생하거나 고도의 긴장상태가 조성될 때마다 군사정전위원회는 쌍방 공식 대화의 유일한 창구가 되어 옴으로써, 비록 불완전하나마 그러한 사태들이 전면 무력충돌로 확대되는 것을 막아 주는 안전장치의 구실을 해왔다.