고려의 안렴사(按廉使)에서 비롯하였다. 1388년(창왕 즉위년) 안렴사를 도관찰출척사(都觀察黜陟使)로 바꾸고, 관품이 4~6품으로 낮은 시종(侍從)과 낭관(郎官) 대신에 양부(兩府)의 대신을 도관찰출척사로 파견하며, 임기를 6개월에서 1년으로 연장하였다.
1389년(공양왕 1)에는 경관(京官)이 겸직하던 것을 별도로 제수하게 하였으며, 1390년(공양왕 2)에는 산하에 경력사(經歷司)를 설치하고 수령관(首領官)으로 경력(經歷)과 도사(都事)를 두었다. 1417년(태종 17)에 그동안 군사적 성격의 도순문사(都巡問使)를 임명하던 함길도(지금의 함경도) · 평안도에도 도관찰출척사를 파견함으로써 8도 관찰사 제도가 확립되었다.
관찰사의 임무는 지방관 감찰과 지방 장관의 두 가지 기능으로 대별된다. 지방관 감찰 기능은 도내를 순력하며 예하 지방관들의 비리를 적발하고 근무성적을 매기는 포폄(褒貶)을 행하는 것이었다. 관찰사는 비리를 적발하기 위하여 풍문(風聞) 탄핵권을 부여받았으며, 공정한 평가를 위해 상피(相避) 제도를 적용받았다.
관찰사의 도내 순력은 사전에 각 고을로 전달되었으며, 말 40~50마리가 동원되는 대규모 행차였다. 큰 고을을 연결하는 기본 순행로를 바탕으로 순력 때마다 중간에 경유하는 중소 고을을 달리하는 방식으로 진행하였다. 그러나 조선 후기 유영(留營) 체제가 확립되면서 도내 순력은 봄가을 두 차례로 축소되었고, 아감사(亞監司)라고 부르던 도사(都事)가 대행하거나 분담하기도 하였다.
지방 장관의 기능은 도내의 행정 · 사법 · 군사를 총괄하는 것이다. 관찰사는 관할하는 도내를 대상으로 농사 권장, 풍속 교화, 학교 진흥, 호적 · 군적 작성, 향시(鄕試) 관리, 진휼과 수세 행정 감독, 농사 상황 조사 등을 담당하였다.
관찰사는 유형(流刑) 이하의 형벌을 독자적으로 결정할 수 있는 직단권(直斷權)을 가지고 있었다. 관찰사 제도가 정비되어 가던 15세기에는 관찰사가 순력하며 백성에게 직접 소지(所志)를 접수하여 해당 군현으로 옮겨 처리하게 하고 그 결과를 보고받았다.
이 시기는 노비 쟁송을 해결하는 일이 국가적 과제였고, 관찰사는 임기 대부분을 순력하며 보냈기 때문에 가능한 방식이었다. 그러나 16세기 이후에는 수령을 거쳐 관찰사에게 의송(議訟)을 올리는 체제가 확립되어 관찰사는 점차 재심관 역할만 수행하게 되었다.
관찰사는 해당 도의 병마절도사와 수군절도사를 겸직하였는데, 이 두 절도사가 별도로 있어도 도내 군사에 대한 통할권을 행사하였다. 이 때문에 관찰사는 임명될 때 군사권을 상징하는 밀부(密符)와 유서(諭書)를 하사받았으며, 이동할 때도 유서를 유서통에 담아 지니고 다녔다.
조선 전기에 관찰사 임기로 남방 6도는 1년, 국경지대인 양계는 2년이었다. 후기에 지방 장관의 역할이 강화되면서 경기를 제외한 관찰사의 임기가 2년으로 통일되었고, 19세기에는 경기까지 2년으로 연장되었다.
관찰사가 구임(久任)하게 되면서 감영 소재지 수령을 겸직하였다. 평안도와 함경도 관찰사는 초기부터 평양 · 함흥 부윤을 겸하였고, 충청도 · 황해도 · 강원도 관찰사는 각각 공주 · 해주 · 원주 목사를, 경상도 관찰사는 대구 도호부사를 겸하였다. 다만, 전라도는 전주 부윤이 별도로 임명되었고, 경기는 성저십리 지역에 감영이 있었기 때문에 겸목제(兼牧制)를 적용받지 않았다.
겸목 제도를 시행하면서 관찰사 업무가 늘어나자 기존의 도사 · 검률(檢律) · 심약(審藥) 외에도 겸목 지역의 행정을 위하여 판관(判官)을 두고, 군사 업무를 보좌하기 위하여 중군(中軍)을 배치하였다.
조선시대 관찰사의 도별 재임기간은 강원도 · 경기 0.8년, 경상도 · 황해도 · 충청도 0.9년, 전라도 1년, 함경도 1.2년, 평안도 1.3년이었다. 대체로 서울과 가까울수록 재임기간이 짧았고, 서울과 멀리 떨어진 함경도와 평안도 관찰사는 임기가 2년으로 가장 길었다. 출신 성분은 문과 출신이 대부분이며, 노론과 특정 가문으로 권력이 집중되어 가던 후기로 내려올수록 특정 성관(姓貫)의 집중도가 높아졌다.
1895년(고종 32)의 관제 개혁으로 지방의 상급 행정 단위를 8도에서 23부(府)로 개편할 때 관찰사는 부의 장관이 되었다. 또, 이듬해 13도로 재편할 때에도 도의 장관이 되어 1910년 일제에 강제 병합될 때까지 존속하였다.
관찰사는 조선의 중앙집권 체제 구축에 큰 역할을 하였다. 수령과 더불어 중앙의 대민지배 정책을 지방에 관철하는 동시에 직계권(直啓權)을 활용하여 지방민의 의견을 중앙에 전달하는 등 중앙과 지방의 유기적인 연결과 지방 안정에 기여하였다.