관리들의 비위 규찰, 재정 부문의 회계 감사, 의례 행사 때의 의전 감독 등 감찰 실무를 담당하였다. 고려시대 어사대(御史臺)의 감찰어사(監察御史) 직을 계승한 것이다.
1392년(태조 1) 7월 조선 개국 직후의 관제 제정 때 20인을 정원으로 했다가, 1401년(태종 1)에 25인으로 증원하였다.
그 가운데 일부는 다른 관원으로 겸직시켰으나, 1455년(세조 1)에 모두 실직화(實職化)하고 1인을 감원해 24인을 정원으로 하였다. 조선 후기에는 문관 3인, 무관 5인, 음관 5인으로 13인만 두었다.
감찰은 사헌부에서는 말단 관료였지만 중요한 위상을 차지하고 있었다. 이들은 맡은 업무가 본래 광범위하고, 때로는 지방관의 비위를 조사하기 위해 분대(分臺: 암행어사의 전신으로 행대(行臺)라고도 함)라는 이름으로 파견되기도 하였다.
또 각 관서의 청대(請臺 : 회계감사의 요청)에 응해야 하며, 수많은 의전 행사에 감독 임무를 맡아야 했기 때문에 다른 관직에 비해 많은 인원이 배정되었다.
청대에 나가는 것은 대표적인 감찰 직무였다. 초기에는 모든 관서가 연말 업무 마감 전에 이를 행하도록 했으나, 후기에는 군자감·광흥창·봉상시·장흥고 등 재정담당 부서에서만 하게 되었다.
감찰이 청대에 나서면 해당관서의 관리들과 엄숙한 예를 거행하고 난 뒤, 장부와 창고의 현물을 대조, 확인한 다음 장부에 서명하고 창고에는 봉인을 붙였다.
사헌부의 관원으로 탄핵·서경(署經)·간쟁 등의 대간 업무에는 참여하지 못했으나 요직으로 간주되어 명망있는 인물들이 임명되었고, 다른 관원들이 함부로 침범할 수 없도록 지위를 보장하였다.
또, 그들만이 입식(笠飾: 갓 장식)에 수정 정자(頂子)를 붙이고, 조복의 관(冠)에 해치(獬豸: 옳은 일과 그른 일을 분간해 선인(善人)을 보호하고 악인을 미워한다는 뿔이 하나 달린 전설의 동물로 해태라고도 함)를 부착하는 등 법관으로서의 권위를 부여받았다.