농어촌정비사업과 농업기반시설의 종합관리, 환경친화적 농업생산기반 구축, 농업인의 영농규모 적정화 촉진 등으로 농업생산성을 증진하고 농업인의 소득향상을 통해 농어촌의 경제 · 사회적 발전에 기여함을 목적으로 출범하였다.
농어촌진흥공사가 주축이 되어 농업생산기반 조성 및 정비와 관련된 농지개량조합 · 농지개량조합연합회 등 3개 기관이 2000년 1월 1일에 통합된 공기업인만큼 그 연혁이 다소 복잡하다. 수리조합의 효시는 1908년 설립된 전북 옥구서부수리조합이다. 그리고 1938년 조선토지개량협회, 1940년 조선수리조합연합회, 1942년 조선농지개발영단으로 이어졌고, 1949년 조선수리조합연합회가 대한수리조합연합회로 개칭되었다. 1962년에는 다시 토지개량조합연합회로 개칭되었다.
1969년에 지하수개발공사가 설립되었고, 이듬해 수리조합이 농지개량조합으로 명칭이 다시 변경되었다 1970년 2월에 토지개량조합연합회와 지하수개발공사가 합병되어 농업진흥공사로, 이듬해 9월에 사단법인 농지개량협회가 설립되었다. 농지개량협회가 1973년 농지개량조합연합회로 개칭되었고, 1990년 7월 농업진흥공사의 사업내용이 확대되면서 농어촌진흥공사로 다시 명칭이 바뀌게 되었다.
따라서 농업생산기반조성 및 정비기관은 농어촌진흥공사 · 농지개량조합 · 농지개량조합연합회로 3원화되었다. 이어 2000년 1월 1일에 3개 기관이 통합되어 농업기반공사로 출범하였다.
농업기반공사의 조직은 본사에 사장과 감사, 상임이사 6명에 18개 단위부서, 교육원과 농어촌연구원이 있고, 도 단위에 9개 지사, 그리고 4개의 사업단과 87개의 지부로 구성되었다. 2000년 5월 말 당시 정원은 정규직과 기능직, 임시직을 포함 7,000여 명이었다.
농업기반공사의 주요 사업은 농업생산기반조성 및 정비사업을 비롯해 농업용수리시설물 유지관리사업, 영농규모화사업, 농촌생활환경개선사업, 농촌소득기반사업, 국제협력사업, 농공기술개발 및 연구사업 등 농어촌개발과 농업소득 증대 및 농촌경제 활성화를 위한 다양한 사업을 추진하였다.
농업기반공사는 농어촌을 자연환경과 조화된 쾌적한 삶의 터전으로 조성하는 한편, 주곡의 안정적 생산과 국가 자원의 효율적 관리, 각종 재해 예방 등의 농정시책을 실행하는 기관으로 주도적인 역할을 수행하는 동시에 농업인에 최상의 서비스를 제공하고 통일농정을 준비해 나가는데 있어서도 일정한 역할을 하였다.
특히 21세기 무한경쟁시대를 맞아 고도의 기술 및 핵심역량 강화로 세계적 수준의 농어촌 개발, 용수관리 전문기관으로 도약해 나가는 한편 궁극적으로는 인간과 기술, 환경의 가치창조로 지속가능한 농업과 농어촌 개발에 농업기반공사의 책임과 역할이 주어졌다.
2005년 농업기반공사가 한국농촌공사로 그 명칭을 변경하였으며, 2008년 12월 한국농어촌공사로 새롭게 출범하였다.
농업기반공사는 국민의 정부 출범과 동시에 추진된 공공부문의 구조조정과 공기업 경영혁신 방침에 따라 그 동안 유사 중복기능을 수행해 오던 3개 기관을 하나로 통합, 경영의 효율성을 높이고 농업인에 대한 서비스의 질을 높일 수 있게 되었다는 점에서 그 의의가 크다. 특히 지난 정부에서도 지속적으로 추진해 왔던 3개 기관의 통합이 번번이 실패하였다.
그렇지만 국제통화기금(IMF)관리체제로 국가경제의 어려움과 세계무역기구(WTO)체제 출범에 따른 농산물 시장의 무한경쟁시대를 맞아 농업기관의 대폭적인 구조조정과 통폐합을 통한 농업경쟁력 제고라는 농업인의 요구에 따라 통합공사로 출범한만큼 공기업 구조조정과 개혁의 시범사례로 평가받았다.