‘삼대록(三代錄)’·‘양문록(兩門錄)’·‘세대록(世代錄)’ 따위의 제명이 붙은 방대한 장편형식이다. 가문소설이 조선 후기 정조 때를 전후하여 발전했기 때문에 근대적 성격도 나타나 있으나, 그 중심 내용은 가문 창달을 목적으로 하고 있다.
그 목적의 중요 인자는 거의가 사대부 가문의 복고를 통하여 실학자 및 평민에 맞서는 인자(因子)로써 정조 이후 붕괴되어 가는 중앙집권화에의 재건과 퇴폐해 가는 강상(綱常:삼강과 오상. 곧 사람이 지켜야 할 도리)의 회복을 위한 목적의식이 뚜렷한 소설이다.
당시 정조의 문풍쇄신운동의 일환으로 유교윤리 회복을 위한 실천을 통해 유가적(儒家的) 질서 회복을 위하여 자생한 것이 보학(譜學)과 가전문학(家傳文學) 사업이었다.
가문소설의 명칭은 가계소설(家系小說)·연대기소설(年代記小說)·세대기소설(世代記小說)·가족사소설(家族史小說)·가문소설 등으로 불리고, 또한 별전(別傳)이 연작되는 시리즈소설이라는 점에서 연작소설 또는 별전소설 등의 명칭도 있다.
그 중에서도 가문소설이라는 명칭은 우리의 전통적 사고 중심이 개인이 아니라 가문 중심이라는 면과 가문간에 얽힌 갈등구조가 대부분의 내용임을 고려하여 붙인 소설명이기 때문에 학계의 대다수가 가문소설로 호칭하고 있다.
연작소설이라는 명칭은 현대문학의 개념에서 같은 주제를 가지고 여러 사람이 릴레이식으로 사건을 전개해 가는 공동의 창작형식을 말하기 때문에 ‘연작’과 ‘연작소설’과는 그 개념이 판이하다. 그래서 이미 선인들이 써온 ‘별전소설’이라는 명칭을 쓰는 것이 옳다.
가문소설은 많으나 아직은 상당수의 작품이 연구되지 않은 상태로 쌓여 있다. 조선 말기 왕실도서관이었던 낙선재문고(樂善齋文庫)에 비장되어 있었고, 민가에서는 전통 사대부가의 서가나 내당에서만 전승되어 왔기 때문이다.
그 중 50책 이상 되는 것만 해도 「완월회맹연(玩月會盟宴)」(180책)·「임화정연(林花鄭延)」(139책)·「윤하정삼문취록(尹河鄭三門聚錄)」(105책)·「명주보월빙(明珠寶月聘)」(100책)·「화산선계록(華山仙界錄)」(80책)·「유이양문록(劉李兩門錄)」(77책)·「명행정의록(明行正義錄)」(70책)·「재생연전(再生緣傳)」 등이 있으며, 그 밖에 「임씨삼대록(林氏三代錄)」·「이씨세대록(李氏世代錄)」·「조씨삼대록(曺氏三代錄)」·「유씨삼대록(劉氏三代錄)」·「하진양문록(河陳兩門錄)」 등 50여 종은 모두가 20책 이상의 대장편이다.
고소설의 유형을 전기(傳奇)·몽유·우화·애정·역사·영웅·윤리·가정·풍자·가문·판소리계 소설로 분류하기도 하는 등 국문학개론과 국문학사에 학자들마다 가문소설이라는 장르를 설정하고 있다.
또한 가문소설의 장르 규정에서 가문소설의 유형에는 누대형(累代型)·양문형(兩門型)·당대형(當代型)·변용형(變容型)이 있다는 의견도 있다.
따라서 가정소설을 당대형에 예속시키면서 동양의 사고체계는 가문 우위의 개념이기 때문에 가정이 발전하여 가문이 형성된다는 서구적 개념이 아니라 가문이라는 큰 집단 안에 가정이 존재하므로 가정소설을 가문소설의 하위 장르에 넣기도 한다.
가문소설의 연원은 열전(列傳)에서부터 시작된다. 또한 문집문학(文集文學)의 시초는 최치원(崔致遠)에서부터 ‘개인 문집’이 만들어졌고, 이 개인 문집의 문종(文種)에서 ‘행장’은 곧 열전이다.
이 행장자의 후예들에 의해 열전, 즉 가전으로 꾸며져 현존하게 된다. 그러므로 우리나라 개인 문집의 창시자이자 문학 장르 분류에 공헌한 사람은 최치원이라 하겠다.
그런데 그와 같은 역사적인 인물들은 어느 가문에나 있고, 한 가문의 인물들을 연결하여 가전이 형성되며, 그 가전 위에 가문소설이 새로 형성되었다. 그러므로 행장-열전-가전-가문소설의 순으로 이행되는 것은 가문소설의 형성공식을 뒷받침한다.
가문소설의 형성은 임진·병자 양란 이후 실추된 오륜의 기강이 사대부 계층의 권위 약화를 가져왔다. 동시에 실학사상의 융성을 뒷받침하는 절대적인 원인이었다.
전대의 사회를 재건 내지 회복하기 위해서는 정조의 문체반정운동과 주자학의 재장려 등으로 삐뚤어진 윤리 기강을 바로잡고, 밖으로는 보학사업 등으로 자가문(自家門)의 윤서(倫序)를 바로잡는 적극적인 사업은 전통가문이 앞장섰다.
곧, 양반들과 평민들의 대립현상이 귀족문학(가문소설) 대 평민문학(실학·판소리계 소설 등)의 갈등으로 나타났다. 그러나 귀족문학은 실학의 물결, 동학운동 등으로 약화되어 일부 사대부가나 궁중에서만 향유되었다.
그래서 우리 소설문학사는 마치 정조 이후 갑오경장까지 단절된 것처럼 쓰고 있으나 가문소설이 연구되고부터는 소설사의 온전한 흐름이 가능하게 되었다.
가문소설의 형식상 공통점은 분량이 방대하다는 점이다. 이렇게 대장편화되는 데서 본전(本傳)은 반드시 별전으로 연작되고 있다.
가령, 「현씨양웅쌍린기(玄氏兩熊雙麟記)」는 「명주기봉(明珠奇逢)」으로 별전화되고, 「명주기봉」은 「명주옥연기합록(明珠玉緣奇合錄)」으로 별전화되고, 「명주옥연기합록」은 다시 4부작인 「현씨팔룡기(玄氏八龍記)」로 별전화된다.
이를 현대문학에서는 대하소설(大河小說)이라고 한다. 별전화되는 예는 이외에도 여섯 종류가 있으나, 더 있을 수도 있다.
이와 같은 대장편화의 형식적 특징 외에 작품구조를 분석해 보면 조선 중기까지 형성된 모든 구조 유형이 가문소설 속에 융합되어 있다는 점을 지적할 수 있다.
적강화소(謫降話素), 영웅의 일생구조, 군담 요소, 기연기봉요소(奇緣奇逢要素), 변신화소(變身話素), 혼사장애요소(婚事障碍要素) 등 전대의 형식적 특질이 가문소설 속에 수용되면서 가문소설의 우세소(dominant)에 의해 통일된 의미망으로 변형되어 나타난다. 그 우세소가 결국 가문소설의 내용을 대표하는 주제가 된다.
그리고 충·효·열 사상을 근간으로 하여 가문 창달을 위한 재건의 목적을 달성하기 위해 가문의 번영을 강조하는 가정 내 혹은 가문간의 애정 갈등, 가문을 빛내기 위한 영웅적 창달자의 출현을 예시하는 전쟁, 천자가 개입하는 가문 과시의 극치인 혼사 장애 등이 중심 내용이 된다.
고소설의 작가가 대부분 그렇듯이 가문소설의 작가도 거의 알려져 있지 않다. 그 중 「옥수기(玉樹記)」만이 발문을 통하여 ‘심소남’이 지었다는 것을 확인할 수 있을 뿐, 모두 작가 미상이다.
그러나 작가층에서는 창작 목적과 궁중·세도가문에서 발견되는 것으로 보아 벌열양반층(閥閱兩班層)이라고 추정할 수 있다.
단지, 작품이 대장편이며 문학작품의 상품화가 유행한 시대라는 점을 고려한다면 전문적 직업작가에 의해 쓰여졌을 가능성도 배제할 수 없지만, 그들도 벌열양반의 후예이지 몰락양반은 아닐 것이다.
이와 같이 가문소설은 그 소설 형성의 단계가 뚜렷한 정통문학의 맥 속에 있으며, 강상재건(綱常再建)을 통한 질서 회복을 목적으로, 구조적 총체성을 지니는 특질을 지닌다고 하겠다.
가문소설은 소설 발전 단계상 고대소설과 근대소설 사이에 단절된 공백으로 남아 있던 시대를 채워 주는 구실을 했으며, 본질에서 전통 지속의 양반적 사고 위에 근대 개화의식의 맹아를 접목함으로써 소설사의 일괄된 흐름을 가능하게 하였다.
이러한 소설사적 중요성과 함께 작품 자체는 전통적 사고방식을 통한 소설적 변용이라는 면에서 우리 민족의 세계관을 잘 나타내 주고 있으며, 전대의 구조원리를 채택하여 고소설형식의 총체를 보여주고 있다.
그리하여 개화기 이후 현대소설의 발전과 함께 새로운 문학양식으로 염상섭(廉想涉)의 「삼대」, 채만식(蔡萬植)의 「태평천하」, 박경리(朴景利)의 「토지」 등으로 이어지는 가문소설은 우리 사회의 문화기층이 ‘우리집’·‘우리가문’이라는 공동체의식의 연원 위에 형성되었다고 볼 때, 서구의 개인주의 문화기층과는 판이하다고 하겠다. 동시에 가문소설은 우리의 정통문학을 대변한다.