토성은 지방에 토착하고 있던 재지 씨족집단의 성씨에 대한 총칭이다. 15세기 문헌에 집중적으로 나타나는데 신라말 고려초에 형성된 것으로 추정된다. 촌락공동체로서의 ‘토’와 혈연적 씨족집단으로서의 ‘성’으로 구성되었다. 군현명을 본관으로 한 군현의 지배성단으로 본관지역에 따라 주·부·군·현 토성과 현(속현)성·촌성·향성(鄕姓)·소성(所姓)·부곡성(部曲姓) 등으로 표기하였다. 토성이 분화하는 과정에 망성·내성·속성·입진성(入鎭姓) 등이 생겨났다. 고려 후기 이래 토착적 의미는 사라지고 거주지에 관계없이 본관만이 문제가 되었다.
군현의 행정구역 형성 및 정치세력과 밀접한 관계를 가지면서 형성, 분화, 소멸되었다. 『세종실록』 지리지에 보이는 성 가운데 주종을 이루며 15세기 문헌에 집중적으로 나타난다. 최초의 용례는 『서경』 의 우공편 석토성(錫土姓)에서 비롯되며, 혈연적 · 지연적 의미를 동시에 지닌 성씨의 개념과도 일치한다. 토성은 지연적 촌락공동체로서의 ‘토’와 혈연적 씨족집단으로서의 ‘성’으로 구성되었다.
『세종실록』 지리지에 의하면, 토성은 고적(古籍)과 관(關)에 기재되어 있는 성씨를 지칭하였다. ‘고적’이란 고려 초기부터 전해 오는 성씨관계 자료이며, 공문서의 일종인 ‘관’은 지리지의 편찬을 위한 작업으로 각도에서 보고한 성씨관계 기록을 담은 문서였다. 여기서의 토성은 당초 토성에서 소멸된 망성(亡姓), 이주성(移住姓)인 내성(來姓) · 속성(續姓) 등과는 달리 군현의 구획 초기부터 토착해 군현명을 본관으로 한 군현의 지배성단이다.
1425년(세종 7)에 완성된 『경상도지리지』 에서는 토성의 범주에 토성 외에 인리성(人吏姓) · 백성성(百姓姓) · 촌락성(村落姓) · 망성 등을 포함시키고 있다. 또한 성씨의 본관지역에 따라 주 · 부 · 군 · 현 토성과 현(속현)성 · 촌성 · 향성(鄕姓) · 소성(所姓) · 부곡성(部曲姓) 등으로 표기하였다. 반면 1432년(세종 14)에 편찬된 『세종실록』 지리지에서는 『경상도지리지』 의 토성을 내용별로 세분해, 같은 토성이면서 남원부(南原府)와 팔거현(八莒縣)에서는 인리성과 백성성으로 구분했고, 전자의 토성이 망성 · 촌락성 · 인리성 · 백성성 등으로 구분, 기재되었다. 1481년(성종 12)에 편찬된 『동국여지승람』 에서는 성씨조에 토성이라는 용어는 나타나지 않고, 다만 고적조에 토성 또는 토성이민이라는 용례가 몇 군데 발견될 뿐이다.
토성의 형성문제는 군현의 구역형성과정, 토착씨족의 문화발전과정, 그것의 한성화(漢姓化)의 과정 등과 상호 연관된다. 형성시기는 토성의 분포지역에서 보듯이 신라말 고려초였다. 신라영역이었던 대동강에서 원산만을 잇는 선의 이남지역에만 토성이 분포되었고, 이북지방에는 하나도 없다. 형성시기의 순서에 따라 진주(晉州)처럼 토성과 입주후성(立州後姓), 광주(廣州)와 같이 토성과 가속성(加續姓)이 있다. 또, 토성과 차성(次姓)이 있는가 하면, 인리성과 차리성(次吏姓)도 있다. 군현의 토성수는 대체로 구역의 규모에 비례해 큰 고을은 7∼10성, 중 · 소현은 4, 5성, 향 · 소 · 부곡과 촌에는 1, 2성이 보통이다.
토성의 변천 · 분화에 따라 망성 · 내성 · 속성 · 입진성(入鎭姓) 등이 생겨났다. 망성은 고적에는 기재되어 있으나, 15세기 초에는 없어진 토성을 말한다. 중앙정계에서 몰락한 세력이나 유망한 재지이족(在地吏族)이 망성이 되었다. 분포지역은 개성을 중심으로 한 근기지방(近畿地方)에 집중되었고, 경상 · 전라도지방에는 적었다. 수도 부근에 많은 것은 중앙정부와 가까워 원격지 토성보다 진출이 용이했고, 집권세력과의 긴밀한 인연과 정계의 동향에 민감해 기회만 있으면 진출해야겠다는 서울로의 지향성 때문이었다.
내성은 유입한 성이며, 속성은 고적에 없던 성으로 15세기 지리지 편찬 당시에 새로 속록(續錄)된 것이다. 내성은 경상도가 가장 많아 전체의 40%를 차지한다. 속성에는 소종래(所從來)와 향리(鄕吏)의 출자(出自)를 밝히는 문구가 있는 것과 없는 것 두 가지가 있다. 향리는 군현의 행정실무 및 징세조역(徵稅調役)에 있어서 불가결한 존재였다. 군현의 존립에는 향리가 절대 필요했고, 국가에서는 열읍 간에 향리수를 조정하였다. 그 결과로 나타난 것이 속성이다.
양계(兩界)지방에는 토성은 없고, 대신 입진성 · 입성 · 내성 등이 있다. 따라서, 토성이 유망한 곳이나 새로 개척한 신설 주 · 진에는 타지의 토성을 이주시켜 토성의 기능을 맡겼다. 평안도지방에는 입진성이, 함경도지방에는 입성 · 망입성(亡入姓) · 망래성(亡來姓)이 많다. 촌락에는 촌성 · 망성만 있고, 대개 1개촌에 1개성이 보통이다. 향 · 소 · 부곡에는 토성 · 망성 · 내성 · 속성 등은 있으나 인리성 · 백성성 · 차성 · 차리성 등은 없다.
토성의 전신은 신라 이래 각 읍에 토착해 지배적인 위치에 있던 씨족집단이다. 성(城) · 촌(村)을 지배하던 성주 · 촌주들이 10세기를 전후해 호족이 되었다. 이들 가운데는 신라 귀성(貴姓)인 경우가 많았고, 다음은 고려왕조의 성립과 함께 성을 받는다든지〔賜姓〕, 또는 중국의 유명성을 모방해 고려 초기에 지방호족이 한성화하면서 각 읍 토성이 되었다. 서울로 진출한 재경세력이나 군현 향직을 담당한 재지이족들 모두 토성출신이었다.
이러한 현상은 군현에 한하지 않고 촌이나 향 · 소 · 부곡에도 마찬가지였다. 군현을 지배하는 성이 읍의 등급에 따라 주 · 부 · 군 · 현성으로 구분되었듯이, 군현에 폐합되지 않은 독자적인 구획을 장악하던 족단의 수장이 촌주 또는 향 · 소 · 부곡장이 되었고, 그들의 성이 촌성 또는 향 · 소 · 부곡성이 되었다.
토성은 군현사(郡縣司)를 구성하던 토착성씨집단으로서 진출 시기에 따라 태조(왕건)공신계열과 군현향리로 분화되었다. 그들은 모두 강력한 씨족적 유대, 공고한 경제적 기반, 학문적 · 행정적 소양의 바탕 위에서 출발하였다. 지방토성의 진출상황은 재지적 기반의 강약에 비례해, 중 · 소 군현의 토성보다는 부목(府牧)출신이, 속현보다는 주읍(主邑)토성이 유리하였다. 향 · 소 · 부곡 등지의 토성은 고려 전기까지 진출이 거의 없다가 후기부터 사족(士族)으로 성장하였다.
고려 전기의 고급관료를 성분별로 분석해 볼 때, 소수의 귀화인을 제외하면 모두 군현토성 출신이었다. 그 중에서도 군현의 지배성단인 인리성이 대부분을 차지하였다. 본관별로 분석하면, 후고구려지역 출신이 성관(姓貫) 수에 있어서는 전체의 62%, 고급관인 수에 있어서는 75%를 차지하였다. 이러한 토성들은 고급관직은 물론 이성외척을 비롯해 종묘배향공신 · 지공거(知貢擧) 등 국가의 중요지배층을 거의 독점하였다.
신라말 고려초 신분제의 재편성과정에서 신라의 골품제를 대신할 새 신분층이 호족이었다. 호족은 왕건에 대한 충성 · 반역의 정도에 따라 지배세력으로의 여부가 결정되었다. 거역한 호족은 그 지위를 상실하게 되었다. 반면 협찬한 세력들은 ‘태조공신’이라는 범주에 들어 새로운 지배세력이 되었다. 왕건에 협조한 3,200명의 태조공신들 가운데 일부는 초기의 왕위계승전에서 도태되고, 일부는 자기지위를 유지하면서 고려 전기의 대표적인 명문으로 발전하였다.
광종 · 성종 이후 재지호족 자제의 중앙관인화가 다시 활발해졌다. 그들 역시 태조에게 공신호(功臣號)를 받고 군현향직을 장악하던 재지토성이었다. 이들이 고려왕조의 진전에 따라 계속 중앙정계로 진출해 귀족 · 관료로 성장하였다. 이는 단순히 향직자제라는 이유보다는 태조공신의 후예였다는 데서 신분적인 인정을 받았던 것이다. 이들은 향공(鄕貢) · 유학 · 기인(其人) · 상경시위(上京侍衛) · 선군(選軍) · 부전(赴戰) 등을 통해 문(文) · 무(武) · 이(吏)의 3계열로 진출하면서 역대 지배세력을 공급해갔다.
고려는 지방 호족을 연합하고 그들의 군현지배권을 수렴하면서 확립되어갔다. 지방토성은 진출시기에 따라 재경 · 재지세력으로 나누어졌고, 재지토성이 계속 상경종사(上京從仕)하는 과정에서 재경기성세력의 교체를 가져왔다. 참신한 기풍은 항상 지방토성의 신진세력에 의해 공급되었고, 그들의 활약으로 시대가 발전해갔다. 고려왕조의 발전에 따라 외관이 증파되고, 지방토성의 점진적 흡수에 따라 관인사회의 폭은 계속 확대되어갔다. 재경관인 가운데 토성의 수가 많아졌다는 사실은 그만큼 당대 지배세력이 전국적으로 확산되어갔다는 결과이다. 이러한 현상은 특히 고려 후기 이래 일반화되었다.
중앙정계에 있어서 집권세력의 교체와 지방사회의 변모가 그러한 재경관인의 지방분산과 토성의 이주 내지 유이(流移)현상을 촉진시켰다. 그 결과 고려 전기에 상경종사한 대성명문일수록 각지에 분산되었고, 진출하지 못한 벽성일수록 본관에 편재하는 현상이었다. 특히, 전기에는 지방토성으로 상경종사하면 귀족 · 관료가 되고, 재지토착하면 그대로 향직을 담당하였다. 그러나 후기에 재경관인의 낙향생활과 지방 문풍(文風) 및 농장의 형성은 비로소 ‘재지사족’의 존재를 가능하게 하였다.
지방은 고려 이전부터 주 · 군 · 현과 촌 또는 향 · 부곡 등으로 구획되어 구획마다 각기 토성이민이 존재하였다. 이러한 구획과 토성은 각기 형세에 있어서 대소강약의 차가 있었다. 한 군현이 주위 지역을 흡수해 대읍이 되고, 많은 속현과 향 · 소 · 부곡을 영유함으로써 강력한 토성이 될 수 있었다. 그리하여 대등했던 군현이 주읍 또는 영속현(領屬縣)으로 분화되고, 같은 토성 내에도 지배와 피지배의 관계를 형성하였다. 그것은 토성의 질적 변화를 가져왔다.
고려 전기까지는 대읍토성의 진출이 활발하다가 후기 내지 말기에는 중 · 소 군현토성의 진출이 왕성하였다. 전기의 문벌귀족과 마찬가지로 후기의 신흥사대부도 대부분 토성향리에서 나왔다. 『용재총화(慵齋叢話)』 에서 “우리나라의 거족(鉅族)은 모두 군현의 토성에서 나왔다.”고 했듯이, 조선왕조의 양반가문들 역시 대개 고려시대 군현이족의 후예였다.
토성이족은 재경세력이 교체될 때마다 진출이 활발하였다. 무신간의 빈번한 정권쟁탈, 정권의 불안정, 신분제도의 문란, 원나라의 지배와 끊임없는 북로남왜(北虜南倭)로 군현향리의 사족화 기회가 많았다. 그들은 과거나 원나라와의 관계를 통해, 또는 군공(軍功)으로 첨설직(添設職)을 얻어 품관으로 신분을 향상시켜갔다. 그 결과 관인자원이 포화상태에 이르자 향리의 사족화의 길이 점차 봉쇄되었다.
사족과 이족의 분화는 14, 15세기에 더욱 촉진되었다. 같은 토성출신이면서 한쪽은 서울로 진출해 재경관인이 되고, 다른 한쪽은 다시 향리와 재지사족으로 구분되고, 더 나아가서는 양반과 중인이라는 계층분화까지 발전시켜나갔다. 이는 또한 양반, 즉 사족은 벼슬인 ‘관’을, 이족(중인)은 행정실무인 ‘이’를 담당해 소관직무 및 거주지까지 구분되었다. 그래서 15세기 말에 편찬된 『동국여지승람』의 성씨조에는 토성이라는 용어는 없어졌다.
고려 후기 이래 향 · 소 · 부곡의 점차적인 소멸과 군현구역의 개편, 외구(外寇)로 인한 토착성씨의 대규모 이동, 왕조교체로 인한 지배세력의 변동, 열읍 간의 향리수량의 조정 등으로 이제 토착적 의미를 지닌 토성은 무의미하게 되었고, 거주지에 관계없이 본관만이 문제되었다. 토성은 중국의 군망(郡望)과 같은 성격으로 10세기에서 15세기까지 역대 지배세력을 제공하는 공급원의 구실을 담당했고, 재지토성은 군현사를 중심으로 향리의 상층부를 독점하였다. 고려 후기 이래 토성의 대규모 이동에 따라 관인사회에 비토성출신이 증가하듯이, 향리세계에도 토성이족이 아닌 이른바 가리(假吏)가 늘어갔다.