자성(粢盛 : 나라의 제사에 쓰는 제수용 곡물)의 공급을 관장하는 전농시(典農寺)와 관련되는 관서로 그 설치시기는 1277년(충렬왕 3)이다.
원나라에서는 1270년(원종 11)에 일본정벌을 위한 준비로 고려에 둔전책(屯田策)을 실시하고, 이듬해인 1271년에는 농무별감을 여러 도에 나누어 보냈다. 이 농무별감의 사명은 농우(農牛)와 농기구를 원나라의 둔전에 공급하는 것이었다.
고려에서는 전통적으로 권농사(勸農使)를 파견하여 권농의 임무를 수행하게 하였고, 1243년(고종 30)에는 권농별감을 파견한 바 있는데 이는 농무별감의 선구적인 구실을 한 것이다. 그러나 이 때의 권농별감은 권농의 소임보다는 방어체제의 구축에 주목적이 있었다.
따라서 농무별감이나 그 관할관서인 농무도감의 성격도 권농이나 농무에 그 일차적인 목적이 있는 것이 아니고 농우나 농기구·곡물 등을 징발하는 것이 그 사명이었다. 농무도감은 일본정벌의 중단과 함께 사라졌다. 그러므로 농무도감은 원나라의 일본정벌이 남긴 역사적 소산물이라 하겠다.