‘기소(耆所)’ 또는 ‘기사(耆社)’라고도 하였다. 처음에는 경로당과 같은 친목기구의 성격을 띠었다. 그러나 1765년(영조 41)부터 독립관서가 되었는데, 여기에는 왕도 참여했으므로 『대전회통』에는 관부서열 1위로 법제화하였다.
기로(耆老)의 모임은 중국의 당 · 송시대부터 있었다. 우리나라에서는 고려시대 신종 · 희종 때 문하시랑을 지낸 최당(崔讜) 등이 치사(致仕)한 뒤 유유자적을 목적으로 기영회(耆英會)를 조직하였다.
조선시대 태조가 나이 60세가 되던 1394년(태조 3)에 친히 기영회에 들어가 서쪽 누각 벽 위에 이름을 썼다. 아울러 경로와 예우의 뜻으로 정2품 이상 실직(實職)의 문관으로서 70세 이상 된 사람의 이름을 어필로 기록한 뒤 전토와 노비 · 염분 등을 하사하였다.
1397년에 과전 소유의 기로는 거경숙위(居京宿衛)하도록 했으나, 태종 초에는 기로에 대한 숙위가 다소 완화되어 그들 가운데에는 외방농장에 퇴거해 수령을 능멸하고 향리에서 가렴주구하는 자가 나오게 되었다. 이러한 폐단을 막기 위해 기로의 거경숙위를 엄명하고 전함재추소(前銜宰樞所)를 따로 설치해 이들을 여기에 귀속시켰다.
1428년(세종 10) 2품 이상의 기로들이 전함재추소라는 명칭에 불만을 품고 ‘기로소(耆老所)’나 ‘기로재추소(耆老宰樞所)’로 명칭을 바꾸어줄 것을 요청하였다. 곧바로 상정소에서 의논하게 하여 치사기로소(致仕耆老所)로 개칭하고 줄여서 기로소라고 불렀다.
원칙적으로 문과 출신의 정2품 이상 전직 · 현직 문관으로 나이 70세 이상인 사람만이 들어갈 수 있었으며, 이들을 기로소당상이라 했고 인원의 제한은 없었다. 단, 정2품 이상의 실직관원 가운데 70세 이상이 없을 경우, 종2품 관원 중에서 1, 2인을 선임해 들어가게 하였다.
소속관원으로 수직관(守直官) 2인을 두어 승문원과 성균관의 참외관(參外官)으로 임명하였다. 그밖에 서리(書吏) 2인, 고직(庫直) 1인, 사령(使令) 4인, 군사 1인을 두어 소관업무를 맡도록 하였다.
초기에는 문신이 아니거나 70세 미만인 자도 들어간 예도 있으나 이는 제도로서 확립되기 이전의 일이었다. 그 뒤에는 입소 규정이 매우 엄격해 문과 출신이 아닌 사람으로서 들어간 사람은 조선 중기 허목(許穆) 한 사람뿐이었으나 그는 뒤에 제명되었다.
숙종은 59세에, 영조와 고종은 51세에 각각 기로소에 들어갔으며, 조선시대 전 기간을 통해 여기에 들어간 사람은 7백여인이었다. 그 가운데 최고령자로 98세의 윤경(尹絅), 97세의 이구원(李久遠), 96세의 민형남(閔馨男) 등을 꼽을 수 있다.
기로소에서는 봄 · 가을 두 차례 기로연을 열고 명부를 관리하는 등의 일 외에는 직무가 없었다. 그런데도 조선시대의 관리들은 기로소에 들어가는 것을 더할 수 없는 영예로 여겼다. 청사는 서울의 중부 징청방(澄淸坊)에 있었으며, 1394년에 건축하고 뒤에 증축하였다.