대사헌이 소속된 사헌부(司憲府)는 고려시대 감찰 기구이자 언론 기관이었던 어사대(御史臺)와 연결된다. 고려시대 감찰 조직은 사헌대(司憲臺) · 금오대(金吾臺) · 어사대 · 사헌부 · 감찰사(監察司) 등으로 명칭이 변경되어오다가, 공민왕 대에 사헌부로 개칭된 뒤 조선으로 이어졌다.
대사헌이라는 관직은 1308년( 충렬왕 34)에 사헌부로 명칭이 변경되고, 대사헌 · 집의(執義) · 장령(掌令) · 지평(持平) · 규정(糾正) 등으로 직제 개편이 이루어지면서 설치되었다. 조선이 건국된 뒤에도 사헌부 직제가 개편되었지만 대사헌직과 관련해서는 별다른 변동이 없었다.
『경국대전』에는 사헌부의 직무와 관련하여 “시정(時政)을 논집하고 풍속(風俗)을 교정한다”고 규정하고 있다. 따라서 대사헌의 직무 역시 『경국대전』의 규정 내에서 이루어지고 있었다고 할 수 있다. 다만, 시정을 논하고 풍속을 교정한다는 규정 자체가 포괄적 개념이어서 대사헌 이하 사헌부 관료들의 실제적인 활동은 보다 넓은 범위에 걸쳐 이루어졌다.
신료들에 대한 감찰 및 탄핵을 비롯하여 국왕의 실정에 대해서도 간쟁하는 등 국정 전반에 언론을 제기하였다. 또한 경연(經筵)에 참석하고 5품 이하의 인선에서 서경(署經) 업무를 맡아보기도 하였다. 이 과정에서 대사헌은 사헌부의 활동 전반을 총괄하고 있었다.
『 용재총화』에는 소위 대례(臺禮)라고 지칭되는 사헌부 관료들의 회동 절차를 통해 대사헌 이하의 관원들이 매우 엄격한 위계 속에서 업무를 집행하고 있었다고 소개하고 있다. 다만, 성종 대 이후로 언론이 활성화되면서 사헌부 내에서의 대사헌의 위상이 다소 축소되는 모습이 보인다.
조정 현안에 대한 언론 횟수 자체가 늘고 그 과정에서 피혐과 사직이 속출하면서 대사헌이 사헌부의 수장으로서 내부 논의를 주도하기가 훨씬 더 어려워졌다. 아울러 사헌부 내에서 대사헌이 언론에 적극적이지 못하다는 이유로 탄핵을 받기도 하였다. 당하관 이하 청요직들의 영향력이 강화되면서 나타난 현상이라 할 수 있다.