가문소설은 조선 후기에 유행한 국문 장편소설의 대표적 하위 장르로, 다수의 핵심 가문 구성원들 사이의 애정과 갈등을 중심 사건으로 하여 가문의 흥망성쇠와 창달 의지를 주제로 한 고전소설이다. 주로 유교적 덕망이 높은 사족 가문을 둘러싸고 일어나는 세대별 갈등과 부부간 갈등, 충신과 간신의 갈등을 다룬다. 표기 수단이 한글이고, 분량이 수십 책에서 백여 책에 이르는 대장편인 점이 특징이다. 세대를 이어 서사를 전개하는 연작형, 방계 인물이나 사건을 확장하는 파생작이 있다. 유불도를 포함한 다양한 생활 문화를 포함하고 있다.
가문소설은 조선 후기에 유행한 국문 장편소설의 대표적인 하위장르이다. 국문(한글)으로 쓰여졌고, 한 작품의 편폭(분량)이 최소 몇 책에서 최대 백여 책에 이르는 주1의 장편소설군을 대표한다. 가문소설은 장편을 뜻하는 대하소설, 대장편소설, 국문 장편 소설 등의 하위 개념이지만 연구 초기에는 국문 장편 소설을 대체로 가문소설이라 부르기도 했다. 많은 작품이 주2에 소장되어 있어 낙선재본 소설이라고도 불렸다. 17세기 후반에 발생하여 18세기에 커다란 인기를 얻었고, 자손 세대로 이어지는 연작 형태의 작품과 중심부 인물을 주인공으로 삼는 파생작 형태의 작품이 창작되기도 하였다.
가문소설에 속하는 작품들은 주로 상층에 속한 유교 기반의 사족 가문 구성원을 둘러싼 가문 내 다양한 사건과 사고를 다룬다. 서사의 핵심은 가문의 장자 승계권을 둘러싼 부모와 자녀, 형제 사이의 주3 갈등, 부부간의 애정을 둘러싼 부부 및 처첩 갈등이 대표적이다. 많은 작품이 상층 계급의 향유물로서, 유교적 신분관과 가문 질서를 옹호하고 윤리의식을 강조하고 있다. 하지만 거질의 분량을 구성하다 보니, 자연스럽게 인간사의 복잡다단한 심리를 그려내면서 당대 사회에 드러났을 다양한 사회 문제를 포착한다. 그리고 가부장제 유교 사회의 모순들을 사실적으로 제시하고 있기도 하다.
가문소설은 대중소설이 지닌 통속적인 재미를 충분히 구현한다. 뿐만 아니라 작가에 따라서 유려한 문체를 구사하며 작품 속에 다방면의 지식을 담아냄으로써, 상층 여성들의 교양을 위한 독서 자료의 역할을 하기도 했다. 그러한 까닭에 가문소설을 규방소설이라 부르는 연구자도 있다.
가문소설은 17세기 후반에 등장해서 18세기와 19세기를 거치며 소설의 핵심 장르로서 폭넓은 인기를 누렸다. 가문소설은 소설의 대중적 확산을 주도하고, 교양물로서 소설의 위상을 높였다는 점에서 소설사적 의미를 지닌다. 가문소설이 등장하기 전까지, 소설은 주로 남성 지식인층이 한문을 사용하여 창작한 경우가 많았다. 그래서 소설이 널리 읽히는 것은 쉽지 않았다. 한문소설 가운데 몇몇 작품은 한글로 번역되어 향유층을 넓혀 갔으나, 여전히 소설 독자층은 소수 지식인에 한정되었다. 그러다가 국문으로 표기된 가문소설이 등장함으로써 소설사는 새로운 국면을 맞이하였다.
가문소설은 국문을 표기 수단으로 하지만, 상업적 영웅소설과 달리 상당한 분량의 한시 형태를 포함하여 유려한 문장을 사용한 작품이 많다. 방대한 내용 속에 역사적 · 문화적 · 사회적 측면의 해박하고 깊이 있는 지식을 담기도 했다. 또한 작품 전반에 유교적 윤리의식을 강조했지만, 다양한 방식으로 불교와 도교의 서사 기법을 활용함으로써 지배층의 가치관을 옹호하면서도 서민의 생활 문화를 반영하여 폭넓은 지지와 호응을 얻을 수 있었다. 때로는 ‘단위담’이라고 하는 서사의 일정한 패턴을 반복적으로 사용하기도 했다. 그러한 특징으로 인해 거질의 작품이 많이 창작되고, 방대한 내용을 쉽게 이해할 수 있게 함으로써 가문소설은 대중적 영향력을 확장할 수 있었다.
가문소설은 주로 여성들이 소설 향유에 적극적으로 참여하게 만듦으로써, 소설의 담당층 확대에 기여하였다. 그 결과 여성의 입장과 시각이 가문소설의 내용을 구성하는 데에도 큰 영향을 미쳤다. 그 결과 상층 남성을 중심으로 한 시각과는 다른 측면에서 유교적 가부장제의 모순들을 새롭게 발견하고 서사적으로 제기하는 작품들이 여러 편 등장하였다.
가문소설은 상층 가문의 구성원을 둘러싸고 일어나는 여러 사건들을 서사화하면서 결과적으로는 가문의 융성을 지향한다. 가문소설 주인공의 가문은 일반적으로 다른 소설 장르의 주인공 가문보다도 더 높은 주4 계층을 그리고 있다는 점에서 특징적이다. 주요 사건의 성격은 두 가지로 나뉜다. 첫째는 계후권을 둘러싼 부자(父子) · 모자간(母子間) 갈등과 형제간 갈등이다. 다른 하나는 결연 과정을 둘러싼 혼사 장애와 부부 및 처첩 갈등이다. 연작형의 경우 전편은 계후권을 둘러싼 갈등이 핵심이고, 후편은 결연 과정을 둘러싼 혼사 장애와 부부 · 처첩 갈등이 핵심이다. 그러나 후편에서 이전 세대의 이야기를 이어가거나, 전편과 유사한 사건이나 갈등을 반복하는 구조적인 반복의 원리를 활용하기도 한다.
가문소설은 다양한 인물상을 형상화한다. 또 가문소설에는 여러 명의 주인공이 등장하며, 갈등도 중층적이고 복잡한 양상으로 나타난다. 이분법적인 선악관을 벗어나 인물들의 입장 차이에 주목하고 내면의 심리를 포착함으로써 입체적인 인물 형상화를 이룬 작품들도 많다.
연구사 초기에는 가문소설에 속하는 다수의 작품이 중국 소설의 번역이나 번안 작품일 것이라는 주장이 제기되기도 했다. 가장 큰 이유는 작품의 시공간적 배경이 중국으로 설정되어 있다는 점, 그리고 중국의 역사적 실존 인물이 등장하는 경우가 많다는 점이다. 대표적으로 이병기는 고종 21년경에 이종태를 중심으로 한 문사들이 중국 소설의 번역에 참여했다고 하면서, 낙선재에 소장된 한글 소설의 다수가 번역소설이라고 하여 가문소설의 중국 소설 번역설 및 번안설을 제기했다. 이에 대해 정병욱은 구 왕실과 인척 관계에 있는 노인의 증언을 바탕으로, 조선의 가난한 시골 선비가 창작한 책이 주로 세책방을 통해 궁중으로 흘러 들어와 낙선재에 소장되었기 때문에 낙선재본 소설이 중국 작품의 번안이나 번역이 아니라고 주장했다. 김진세 등도 작품 속에 반영된 풍속이나 속담 표현 및 생활 습관을 근거로 국내 창작설을 강조했다. 이후 홍희복의 『제일기언(第一奇諺)』 서문이 소개되고, 그곳에 기록된 19세기 소설의 창작과 독서 경향 및 작품명 등이 알려지면서 가문소설의 다수가 국내 창작물이라는 것이 확인되었다.
가문소설 관련 기록으로는 먼저 옥소 권섭의 어머니 용인 이씨(16521712)가 『소현성록』을 필사하였다는 기록이 있다. 이 기록의 소개로 인해 적어도 17세기 후반에는 국문 장편 소설 형태의 가문소설이 창작되고 향유되었음이 확인되었다. 또 온양 정씨(17251799)가 필사한 『옥원재합기연』의 권 14와 권 15의 표지 이면에 당시에 유행한 소설의 제목이 기록되어 있다. 이 중에는 현전하는 가문소설이 여러 종 포함되어 있어, 18~19세기에 유행하고 유포된 가문소설의 실상을 확인할 수 있다. 그리고 조재삼의 『송남잡지』에는 “완월은 안겸제의 어머니가 지은 바로, 궁궐에 흘려 들여보내 이름과 명예를 넓히고자 했다”라는 기록이 있다. 용인 이씨와 온양 정씨, 그리고 안겸제의 모친인 전주 이씨에 대한 기록은 가문소설이 주로 사족 여성층을 중심으로 창작되고 향유되었던 상황을 보여 준다. 이들은 장편의 소설을 읽고 쓸 만한 여유가 있었던 계층이라고 추정할 수 있다. 이와 함께 필사나 세책가를 통해 유통되었던 소설의 필사 후기에 나타나는 필사자의 다수가 상층가의 여성들이고, 채제공과 이덕무 등이 여성들의 소설 향유에 대해 비판적 언급하고 있다는 점에서 상층가의 여성들이 가문소설의 중요한 향유층임을 알 수 있다. 그 외에도 박지원의 『열하일기(熱河日記)』에 북경에서 국문으로 쓰인 『유씨삼대록』을 보았다는 기록이 있다. 이것으로 보아 가문소설이 중국까지 전해졌으리라고 추측할 수 있다.
가문소설의 대표작 중에는 현재까지 가장 이른 시기의 가문소설로 평가되는 『소현성록』 연작(본전 4책, 별전 11책, 총 15책)이 있다. 또한 단일 작품 중 최대 분량을 자랑하는 『완월회맹연』(180권 180책)이 있다.
그 외 2부작의 연작형으로는 『쌍천기봉』(19권)- 『이씨세대록』(26권), 『유효공선행록』(12권)- 『유씨삼대록』(20권), 『보은기우록』(18권)- 『명행정의록』(70권), 『천수석』(9권)- 『화산선계록』(80권), 『벽허담관제언록』(26권)- 『하씨선행후대록』(33권), 『창란호연록』(13권)-『옥란기연』(7권), 『임화정연』(72권)- 『쌍성봉효록』(16권), 『옥원재합기연』(21권)- 『옥원전해』(5권), 『성현공숙렬기』(25권)- 『임씨삼대록』(40권), 『옥환기봉』(30권)- 『한조삼성기봉』(14권)이 있다.
3부작으로 된 연작형에는 『명주보월빙』(100권)- 『윤하정삼문취록』(105권)- 『엄씨효문청행록』(30권), 『몽옥쌍봉연록』(4권)- 『곽장양문록』(6권)-『차천기합』(4권), 『현씨양웅쌍린기』(10권)- 『명주기봉』(24권)- 『명주옥연기합록』(25권), 『현몽쌍룡기』(18권)- 『조씨삼대록』(40권)- 『양문충의록』(43권) 등이 있다.
그외 『소현성록』의 파생작인 『영이록』과 『창선감의록』의 개작인 『화씨충효록』 등이 있다. 연작형 · 파생작형 · 개작형의 경우 전편과 후편의 작가가 동일한가에 대한 논란이 있으나, 대다수의 작품은 전펴과 후편의 작가가 동일하지 않을 가능성이 크다.
가문소설과 관련한 학계의 논쟁점에는 작가 문제, 작품의 성격, 주제 의식 등이 있다.
작가에 대해 홍희복은 “문쟝ᄒᆞ고 닐업ᄂᆞᆫ 션ᄇᆡ”가 소설 창작에 참여하고 있다고 했고, 왕실의 종친은 소설 창작이 “가난한 시골 선비의 생계 수단”이라고 증언했다. 그렇다면 가문소설의 작가는 소설을 창작할 만한 지식을 갖춘 선비층이라고 할 수 있다. 이를 근거로 정병욱은 가문소설의 작가층이 남성 지식인이며 낙선재본 소설은 가난한 몰락 양반의 창작물이라고 추정했다. 같은 맥락에서 이상택은 이러한 작품들이 그려내는 상층 귀족의 사회적 영달과 부귀, 지배 체제 및 이념의 강조 등은 상층 벌열의 의식과 일치하므로, 작가층을 상층 사대부로 볼 수 있다고 했다.
한편, 『옥원재합기연』에는 “옥원을 지은 ᄌᆡ조ᄂᆞᆫ 문식과 총명이 진실노 규듕의 침몰ᄒᆞ야”라는 필사기가 있다. 이것을 근거로 가문소설의 작가가 규중의 여성일 가능성을 확인할 수 있다. 또한 주된 향유층이 상층 여성이었다는 점, 작품의 내용 중 상당 부분이 여성의 문제와 시각을 반영하고 있다는 점이 여성 창작설의 근거가 된다. 무엇보다 임형택은 “완월은 안겸제의 어머니가 지은 것”이라는 『송남잡지』의 기록을 소개하면서, 여기에 나오는 「완월」을 『완월회맹연』이라고 보고 전주 이씨를 소설의 작가로 추정했다. 그 이후 정병설 등 여러 학자는 전주 이씨가 작품을 창작했을 가능성을 높이는 연구를 진행했다.
가문소설 작품의 성격을 두고, 가문소설이 17세기 이후로 와해된 사회 질서를 바로잡고 가부장 중심의 윤리의식을 강화하기 위해, 가문 의식을 강조하며 가문 구성원의 결속을 다지고 가문의 번영과 팽창을 도모한 시대 분위기를 반영했다는 주장이 있다.
한편에서는 유교적 가부장제를 기반으로 하는 상층 가문 내의 인간관계에서 발견되는 갈등 요소들을 포착하고, 남성이 아닌 여성의 시선에서의 사건을 관찰하면서 당대 사회의 모순에 대한 비판적 문제의식을 드러낸다고 해석하는 입장도 있다.
그 외에도 후대로 가면서 가문소설 중에 삼대록계를 중심으로, 가문소설 작품이 대중적 인기를 끌기 위해 서사적 전략을 구사하며 통속적 흥미를 추구하고 있는 점을 지적하는 연구도 있다.