성종 때 이미 간의대부의 존재가 보이나, 이때부터 좌간의대부와 우간의대부로 나뉘어 있었는지 확인되지 않는다. 목종 때에는 좌간의대부가 두어져 있었으며, 문종 때에 정4품, 정원 1인으로 정하여졌다.
중서문하성의 낭사(郎舍)를 구성하는 간관으로서 간쟁(諫諍)·봉박(封駁) 등을 주된 직임으로 하였다. 1116년(예종 11)에는 본품행두(本品行頭)가 되었고, 뒤에 좌사의대부(左司議大夫)로 개칭되었다.
1298년(충렬왕 24) 충선왕의 관제개혁에서 종4품 관직으로 다시 설치되었으나, 같은 해에 곧 좌사의대부로 환원되었다. 이 후 1356년(공민왕 5) 문종 관제의 복구와 함께 다시 설치되었는데, 이때에는 품계가 종3품으로 오르고 반차(班次)에 있어서도 문종 관제에서는 상위직이던 직문하(直門下)보다 앞서게 되었다.
그 뒤로도 1362년에 좌사의대부로, 1369년에 다시 좌간의대부로, 1372년에 좌사의대부로 각각 개칭되었다. 조선시대에는 건국 직후인 1392년(태조 1)에 새로 제정된 관제에서 문하부(門下府)의 종3품 관직으로 설치되었으며, 1466년(세조 12)에는 우간의대부와 합쳐져서 정3품 당상관으로서 사간원의 장관인 대사간으로 되었다.