영주(寧州 : 지금의 평안남도 안주)에 설치하였다. 본래 고구려에서 설치한 팽원군(彭原郡)에서 계승된 것으로, 931년(태조 14) 안북부(安北府)란 명칭으로 설치되었다. 983년(성종 2) 영주안북대도호부(寧州安北大都護府)라 불렀고, 1018년(현종 9)에 다시 안북대도호부라 불렀다.
남방의 도호부가 지방민을 통치하기 위해 설치된 것에 비해, 북방의 도호부는 새로 정복한 변경의 이민족을 통솔하기 위한 군사적 지방통치기구였다. 따라서 남방의 도호부가 지역 사정에 따라 설치와 폐지를 거듭한 반면에, 북방의 도호부는 국경의 확대에 따라 더욱 발전하였다.
918년 평양도호부를 설치해 여진족의 노략질을 대비했으나 평양도호부가 서경(西京)으로 승격하면서 북경(北境) 개척의 기지를 더욱 전진시켜 안주에 도호부를 설치하였다. 이후 여러 차례 반란이나 외적 침입을 막는 데 지대한 구실을 하였다.
1219년(고종 6) 10월 의주별장 한순(韓恂)과 낭장 다지(多智)가 반란을 일으켰을 때, 오직 안북도호부와 구주(龜州)·연주(延州)·성주(成州) 등은 성을 굳게 지켰다. 또한 묘청(妙淸)의 난과 조위총(趙位寵)·김보당(金甫當)의 난 때 안북도호부에서 반란군을 잡아올렸다. 이는 남방 도호부의 성격을 띠는 예이다.
1010년(현종 1) 11월 거란이 침입했을 때, 안북도호부사 공부시랑 박섬(朴暹)이 성을 버리고 도망가서 백성들이 모두 흩어졌다거나, 몽고침입시 사르타이〔撒禮塔〕가 안북도호부에 있으면서 개경정부와 강화를 교섭했던 사실, 1130년(인종 8) 12월 백성들이 창주(昌州)·삭주(朔州) 등지에 가서 농사를 지을 수 있도록 금나라와 공식으로 약속한 것을 안북도호부에서 보고한 사실은 북방 도호부의 성격을 보여주는 것이다.
인종 때 제정된 외관록(外官祿)에 따르면, 안북대도호부 부사는 120석, 판관은 86석10두, 사록 겸 장서기(司祿兼掌書記)는 40석, 법조(法曹)는 20석을 받았다. 도호부 내의 주현군(州縣軍)은 도령중랑장(都領中郞將) 1인, 중랑장 2인, 낭장 7인, 별장(別將) 14인, 교위(校尉) 28인, 대정(隊正) 58인, 행군(行軍) 1,515인을 두었다.
초군(抄軍) 16대(이 중 마병 4대), 우군(右軍) 4대(이 중 마병 1대), 좌군(左軍) 26대(이 중 마병과 활쏘는 군대인 弩兵을 각각 2대 두었으며, 保昌 7대, 白丁 27대를 두었다.)로 구성되었다.