정원은 2인이다. 조선건국 직후 태조신반관제에 의하면 사헌부에 정4품의 시사(侍史) 2인이 있었는데, 이 시사가 뒤에 장령으로 바뀌었다. 즉, 1401년(태종 1) 관제개혁 때 시사를 장령으로 고쳐 이것이 그대로 『경국대전』에 성문화되었다.
사헌부는 고려시대에 사헌대 · 어사대 · 금오대 · 감찰사 등 여러 이름을 거쳐, 1298년 1월 충선왕 때 사헌부라고 고친 것이 조선시대로 계승된 것이다.
『경국대전』에 사헌부의 직책은 시정을 논집(論執)하고, 백관을 규찰하며, 풍속을 바로잡고, 원억(寃抑)을 풀어주며, 남위(濫僞)를 금하는 등의 일을 맡는다고 되어 있는 것과 같이, 백관의 비위사실에 대한 탄핵감찰권과 일반범죄에 대한 검찰권을 아울러 행사하는 동시에 불복공소(不服控訴)에 대한 고등법원으로서의 구실까지 겸하는 등 왕지(王旨)를 받아 법률을 집행하는 법사(法司)로서의 기능뿐만 아니라, 인사(人事)와 법률개폐의 동의 및 거부권행사라고 할 수 있는 서경권(署經權) 등 국정전반에 걸쳐 힘이 미치지 않는 곳이 없었다.
장령을 포함한 대간은 사헌부의 기간요원이기 때문에 그 직무가 막중하였으므로 자기의 소신을 굽히지 않고 직언할 수 있는 강직한 젊은 엘리트들이 임명되었는데, 그 대부분이 문과에 급제한 자로서 직배(直拜)하거나 승문원 · 성균관 · 홍문관 등을 거친 자들이 임명되었다.