대법원장의 자문에 응하여 사법제도의 개선에 관한 사항을 조사 연구하도록 1969년, 「법원조직법(法院組織法)」에 따라 대법원에 설치되었다.
민복기(閔復基) 제5대 대법원장의 취임식으로부터 약 2개월 후인 1968년 12월 26일, 국회에 「법원조직법」 개정안이 제출되었다. 그 제안 이유 중의 하나는 보수적이고 비과학적이라는 평을 받는 사법제도 운영을 개선하기 위한 위원회를 설치하여 대법원장의 자문에 응하는 동시에 사법제도 개선에 관한 사항을 조사 연구하도록 한다는 것이었다.
1969년 1월 20일, 「법원조직법」이 개정되었고, 이 개정 「법원조직법」은 대법원장의 자문에 응하여 사법제도의 개선에 관한 사항을 조사 연구하게 하도록 대법원에 사법제도개선심의위원회를 둔다고 규정하였다. 이 위원회는 대법원 판사(현, 대법관)를 포함한 법관(法官) 3인, 변호사 3인, 법률학 교수 1인, 국회에서 추천하는 국회의원 2인, 법무부(法務部) 장관이 추천하는 검사 2인으로 구성한다. 이들은 대법원장이 위촉하도록 하였다. 위원장과 부위원장은 대법원 규칙(大法院規則)이 정하는 바에 따라 호선(互選)하고, 위원회에는 간사장(幹事長) 1인, 5인 이내의 전문 위원(專門委員), 약간의 일반 직원을 두게 되었다. 간사장은 위원회에 토의에 부칠 안건의 정리와 전문 위원의 연구에 관한 직무를 맡아서 처리한다. 전문 위원은 상사의 명을 받아 직무에 종사하여 조사 연구한 결과와 구체적 개선 방안을 위원회에 보고한다. 일반 직원은 위원회의 서무를 처리하였다.
1969년 4월 25일, 이영섭(李英燮), 손동욱(孫東頊) 대법원 판사, 민문기(閔文基) 서울 고등법원장, 한격만(韓格晩), 김섭(金燮), 고병국(高秉國) 변호사, 이한기(李漢基) 서울대학교 법과대학장, 김장섭(金長涉), 김정렬(金正烈) 국회의원, 김성재(金聖在), 김용제(金龍濟) 대검찰청(大檢察廳) 검사 등 11명이 위원으로 위촉되었다. 위원회는 1969년 5월 2일, 대법원 회의실에서 첫 회의를 했다. 이 회의에서 손동욱 대법원 판사가 위원장으로 선출되고 한격만 변호사가 부위원장으로 선출되었다.
사법제도개선심의위원회는 1969년 10월경, 사법시험(司法試驗)의 개선 방안을 대법원에 건의하였다. 같은 해 12월경에는 사법연수원(司法硏修院)의 설치를 건의하였다. 또한 1970년에는 지방법원(地方法院) 본원(本院) 합의부(合議部)가 항소(抗訴) 사건을 심판하지 않도록 하는 방안과 상고 이유(上告理由)를 제한하는 방안 등을 건의하였다. 이 밖에도 사법제도개선심의위원회는 판사 특임 시험의 부활, 사법대학원 수료자들의 군복무 면제, 재야(在野) 법조인의 법관 기용, 전자 등사기(謄寫機)의 활용, 한글 기계화, 공판 조서(公判調書)의 정확 등에 대하여 조사와 연구를 행하였다.
1973년 1월 25일에 개정된 「법원조직법」은 종전에, 대법원에 두었던 사법제도개선심의위원회를 폐지하였다. 이후 1979년 3월 14일, 대법원 내규(內規)로서 「송무제도개선위원회 내규」, 「상고심제도개선위원회 내규」, 「등기제도개선위원회 내규」가 제정되었다. 이들 3개 내규는 송무(訟務) 제도, 상고심(上告審) 제도, 등기 제도의 개선에 관한 사항을 조사, 연구, 심의하기 위하여 법원행정처장 소속으로 3개 위원회를 두도록 하는 것이었다. 1979년 6월 12일에는 대법원 내규로서 「사법행정제도개선위원회 내규」가 제정되어 사법행정제도의 개선에 관한 사항을 조사, 연구, 심의하기 위하여 법원행정처장 소속으로 사법행정제도개선위원회를 두도록 하였다.
사법부는 지속적으로 사법의 독립과 사법 행정(司法行政), 사법 정책을 개선하기 위해 노력해 왔다. 사법제도개선심의위원회는 사법제도 개선을 위한 조사와 연구를 담당하는 위원회의 효시(嚆矢)라고 할 수 있다. 이러한 노력은 이후 1981년, 사법정책자문위원회, 2005년, 사법제도개혁추진위원회 등에까지 영향을 미쳤다고 할 수 있다.