풍류를 즐기고 친목을 도모하기 위해서 조직된 문인 계회는 만 70세 이상의 원로 사대부로 구성된 기로회(耆老會)․기영회(耆英會)와 동갑이나 관아의 동료들로 이루어진 일반 문인 계회로 나누어진다. 이러한 두 종류의 문인 계회는 이미 고려시대부터 시작되었고 조선시대에 크게 유행하였다. 주로 산이나 강가에서 열리는 것이 상례이나 경우에 따라서 옥내에서 열리기도 하였다. 계회도는 그러한 계회의 기념과 기록을 목적으로 제작되었다. 화공을 시켜 참가자의 수만큼 그 장면을 그려서 하나씩 나누어 가지고 각자의 가문에 보관하였다. 일반적으로 계회도에는 계회의 장면뿐만 아니라 계회의 명칭을 적은 표제와 함께 참가자들의 이름, 자, 호, 본관, 그리고 계회 당시의 품계와 관직 등을 기록한 좌목(座目)이 적혀 있다.
우리나라에서 처음으로 계회가 시작된 고려시대에는 기로회와 함께 문인 계회가 유행하였고 그림으로 그려지기도 하였다. 현재 전하는 작품은 없지만 문헌기록으로 미루어 가장 먼저 그려진 계회도는 중국 당대(唐代) 백낙천(白樂天)의 「낙중구로회(洛中九老會)」와 북송대 문언박(文彦博)의 진솔회(眞率會)를 본받아 최당(崔讜)이 조직한 해동기로회(海東耆老會)를 그린 작품이라고 할 수 있다. 최당의 해동기로회가 그림으로 제작되었음은 몇 가지 기록에서 확인된다. 『동문선(東文選)』의 「해동기로회서」에 의하면, 호사자(好事者)가 「해동기로회도」를 그렸고, 계원 중의 한 사람인 조통(趙通)이 이를 기록하였다고 한다. 또 1206년(희종 2년)에 최선(崔詵)이 칠순을 바라볼 즈음 관직을 사퇴하고 기로회에 들어갈 때 그림 안에 그의 상(像)을 추가로 그려 넣고 박인석(朴仁碩)이 이를 기록하였다고 한다.
『고려사』의 최당에 관한 기록이나 『동문선』의「쌍명재기(雙明齋記)」를 통해 당시 「해동기로도」는 비단이나 종이에 그려지는 데 그치지 않고 보다 항구적인 전승과 보전을 위해 돌에 새겼음을 알 수 있다. 또한 이인로(李仁老)의 「제이전해동기로도상(題李佺海東耆老圖像)」이라는 글을 통하여 지금은 전해지지 않는 「해동기로회도」의 내용과 특징을 짐작할 수 있다. 참석자들의 모습은 조선시대의 초상화처럼 어떤 형식을 갖추어 그렸다기보다는 음악과 바둑 그리고 시와 술을 즐기며 자유롭게 노니는 모습으로 표현하였다. 하지만 개개인을 확인할 수 있을 정도로 크고 정확하게 그렸고, 각 인물상 옆에 표지와 시문이 적혀 있다고 한 점으로 보아 조선시대의 전형적인 계회도와는 차이가 있었을 것으로 추측된다. 따라서 고려시대 계회도는 시문과 표지를 동반한 인물 중심의 묘사로 이루어져 중국의 서원아집도(西苑雅集圖)와 비슷한 형식이었을 가능성이 있다고 생각된다.
조선시대에 들어와서 초기에는 기로회뿐만 아니라 문인 계회를 그림으로 그려 보존하는 것이 상례로 되어 있었다. 초기에는 상단에 전서체(篆書體)의 계회 명칭을 적고 중단의 넓은 화면에 산수를 배경으로 하는 계회 장면을 담았다. 그리고 하단에 참석자의 인적 사항을 관계(官階)의 서열에 따라 적은 좌목을 마련해 놓고 있었다. 이것은 중국이나 일본에서는 찾아볼 수 없는 전형적인 조선시대의 계축 형식이다. 그림의 내용은 산수를 위주로 하고 있으며, 정작 역점을 두어야 할 계원들의 모습이나 계회 장면은 그 중요성에도 불구하고 아주 작게 상징적으로만 표현되었다. 그러나 지극히 작게 그려진 계회의 장면에서나마 항상 의관을 정제한 계원들의 모습을 볼 수 있어 엄격한 유교적 규범을 엿보게 한다. 계원들의 주변에는 늘 커다란 술동이가 그려져 있어 계회에 넘쳐흐르는 흔쾌한 풍류와 화기애애한 친목의 정경이 느껴진다.
이처럼 산수를 위주로 그리던 계회도의 경향이 1550년경의 「호조랑관계회도(戶曹郎官契會圖)」나 「연정계회도(蓮亭契會圖)」 등에서와 같이 계회 장면의 비중이 배경인 산수와 대등해지는 변화를 보인다. 옥내에 자리하고 있는 계원들을 작게 표현하지 않고 훨씬 크고 자세하게 그렸다. 계회의 장면이 자연의 경관에 압도되지 않고 오히려 보다 중요하게 부각되어 있다. 이러한 경향은 아마도 16세기 중반에 일어난 큰 변화라 생각된다. 왜냐하면 그 이후에 제작된 계회도들은 그 전의 사례와 달리 옥내에서 열리는 계회의 장면과 참석자들의 모습을 부각시켜 표현하였다. 그리고 배경에 산수를 그리지 않거나 그리더라도 초기에 비하면 훨씬 소극적인 방법으로 묘사하는 경향이 두드러졌기 때문이다. 이와 같은 경향은 이기룡(李起龍)이 1629년(인조 7)에 그린 「이기룡필 남지기로도(南池耆老圖)」를 비롯한 조선 중기의 계회도에 잘 나타나 있다.
조선 후기에 이르면 계축보다는 화첩 형식의 계첩이 유행하였다. 조선 중기의 계회도 경향이 정착됨에 따라 1720년(숙종 46)에 완성된 숙종의 『기사계첩(耆社契帖)』에서 보듯이 철저하게 계회의 장면과 인물 중심으로 그려져 있다. 하지만 그러한 보편적인 추세에도 불구하고 김홍도(金弘道)가 1804년(순조 4)개성의 만월대를 배경으로 그린 「기로세련계도(耆老世聯稧圖)」의 경우처럼 화풍은 조선 후기의 것이나 형식은 조선 초기와 중기에 선호했던 계축의 전통을 따른 예도 남아 있다.
조선시대 계회도에 보이는 시기별 변화상은 당시 궁궐의 각종 행사를 그린 기록화에서도 엿보인다. 계회도나 그 밖의 각종 기록적인 목적을 지닌 그림들이 대부분 화원에 의하여 그려졌음을 감안하면 공통적인 시대적 변화를 나타내는 것이 오히려 당연한 일로 생각된다. 현존하는 대표적 계회도로는 일괄 1986년 보물로 지정된 「이기룡필 남지기로회도」, 「독서당계회도」, 「성세창 제시 미원계회도」, 「성세창 제시 하관계회도」, 「호조랑관계회도」, 「연정계회도」, 「기로세련계도」 등이 있다.
계회도는 풍속화적인 성격을 띠면서 문인들의 생활 단면을 묘사하고 있어 당시 문인들의 삶의 모습을 이해하는 데 도움이 된다. 또한 제작연대가 확인되므로 남아있는 작품이 적은 조선 초기와 중기의 회화는 물론 우리나라 회화사 연구 전반에 매우 유용한 자료이다.