원래 중국에서 외지를 다스리기 위해 두었던 관서였다. 당나라는 고구려의 옛 땅에 9개의 도독부를 두고, 이를 통할하기 위해 평양에 안동대도호부를 설치한 바 있다.
우리 나라는 1018년(현종 9) 처음으로 안남(安南 : 지금의 全州)·안서(安西 : 지금의 海州)·안북(安北 : 지금의 安州)·안동(安東 : 지금의 慶州)의 4대도호부를 설치하였다.
그 뒤 경주가 1030년에 동경유수관(東京留守官)으로 승격됨에 따라 지금의 안동으로 옮겨졌으며, 안남대도호부는 곧 폐지되고 그 대신 안변(安邊)이 새로 대도호부로 되었다.
고려 문종 대에 관제를 개정할 때, 관원으로 사(使)·부사(副使)·판관(判官)·사록 겸 장서기(司錄兼掌書記)·법조(法曹)·의사·문사(文師) 각 1인씩을 두었다. 그러다가 1116년(예종 11) 판관을 통판으로 고친 뒤 사와 판관·사록만 두게 되었다.
조선은 건국 초부터 안동·강릉에 두었고, 1426년(세종 8)함경도의 영흥(永興), 1428년평안도의 영변(寧邊), 1670년(현종 11)경상도의 창원에 각각 설치, 조선 후기에는 5개가 있게 되었다.
안동은 고려이래 조선까지 줄곧 대도호부로 내려왔고, 강릉은 1389년(공양왕 1) 대도호부로 승격된 이래 조선 말기까지 존속되었다.
이는 부윤과 도호부사가 파견되는 읍의 중간에 해당하며 목사(牧使)가 되는 고을과 같다. 이곳 수령인 대도호부사는 정3품으로 부윤·목사와 함께 주로 문신이 임명되는 청환직이었다.
『경국대전』에 대도호부는 서원(書員) 30인, 일수(日守) 40인, 외노비(外奴婢) 450명, 향교노비 25명, 관둔전(官屯田) 50결(結), 공수전(公須田) 15결로 각각 정해졌다. 대도호부사의 부관(副官)으로 판관을 두었으나 1894년(고종 31) 지방제도 개혁 때 모두 폐지되었다.