거란은 5세기 중엽부터 1125년까지 퉁구스와 몽골의 혼혈족으로 알려진 동호(東胡)계의 한 종족명이자 국가명이다. 요하 상류인 시라무렌[西刺木倫]의 남쪽에서 유목 생활을 하던 여러 부족으로 이루어진 민족이다. 거란국은 당나라 말과 오대십국의 혼란기를 틈타 8부족을 통일한 태조 야율아보기(耶律阿保機)에 의해 916년에 건국되어, 9대 210년동안 존속하다가 1125년에 천조제(天祚帝)가 여진에 생포되면서 멸망하였다. 고려와 3차례에 걸쳐 무력충돌을 하였으며, 압록강 이동의 점유지에 군사시설을 확충하는 문제로 고려와 갈등을 빚었다.
거란의 본래 이름은 키탄(Qitan), 또는 키타이(Qitay)와 가까운 발음으로 짐작된다. 한문 기록에서는 ‘요(遼)’, ‘대요(大遼)’, ‘대거란(大契丹)’ 등으로 나타나는데, 이는 한자를 사용하는 이들을 위하여 만들어진 한자식 명칭이며, 거란은 줄곧 ‘키탄’이라는 자신들의 명칭을 고수하였다. 거란의 영역은 대체적으로 동으로는 랴오허(遼河)강, 서로는 알타이산맥과 타클라마칸(Taklamakan) 사막, 북으로는 케룰렌강, 남으로는 현재 베이징 남쪽의 백구하(白溝河)까지 포함된다.
거란은 유목민과 농경민을 효율적으로 통치하기 위하여 북면관과 남면관을 두었다. 북면관은 유목 사회를 기반으로 하는 거란족 고유의 제도를 유지하기 위하여, 남면관은 농경 사회를 기반으로 하는 한족(漢族)을 다스릴 때 편의를 위하여 두었다. 법제 또한 거란의 고유한 부족법과 한족의 법을 같이 썼으며, 문자도 돌궐문자를 모방한 거란문자를 만들어 한자와 같이 사용하였다.
거란이란 이름은 554년에 편찬된 『위서(魏書)』에 나오는데, 『삼국사기(三國史記)』에는 소수림왕 8년인 378년에 거란이 북변을 침략하였다거나, 광개토대왕이 391년에 북으로 거란을 정벌하였다는 기록으로 보아 그 이전부터 존재하였던 것으로 여겨진다. 광개토대왕비문에 보이는 패려(稗麗) 또한 거란의 한 지파로 추정하고 있다.
거란족은 8부족이 연맹체를 구성하고 있었는데, 당나라 말과 오대(五代)의 혼란이 지속된 9세기 후반에 야율아보기(耶律阿保機)에 통합되었다. 거란을 통일한 야율아보기는 907년에 ‘텡그리카간[天可汗]’에 즉위하였으며, 916년에는 중국식의 황제를 자칭하였다. 또 926년에는 발해를 멸망시켰다.
야율아보기를 이은 태종 야율덕광(耶律德光)은 석경당(石敬瑭)이 후당을 무너뜨리고 후진을 세우는 데 도움을 주고, 그 대가로 연운십육주(燕雲十六州)를 넘겨받았다. 이는 유목 국가가 농경지역을 지배하게 된 첫 번째 사례이다. 이러한 흐름은 금(金), 원(元), 청(淸)으로 이어졌다.
고려와 거란은 태조(太祖) 대부터 교류하기 시작하였다. 『고려사』에는 922년에 거란과 교섭을 시작한 것으로 되어 있다. 이 해에 야율아보기가 고려에 낙타와 말 등을 보냈다는 기사를 전하고 있기 때문이다.
『요사(遼史)』에는 고려가 사신을 보낸 사실이 좀 더 등장한다. 하지만 거란이 발해를 멸망시킨 926년 이후 양국의 관계는 악화되었다. 942년에 태조 왕건은 거란이 오랜 약속을 깨고 발해를 멸망시킨 것을 무도한 행위로 보고 거란을 이웃 나라로 인정할 수 없다고 하였다. 그리고는 거란에서 파견한 사신을 바다 한가운데에 있는 섬으로 유배 보내고 선물로 보내온 낙타는 만부교 아래에 매달아 굶어 죽게 만들었다. 고려가 이와 같이 한 것은 거란이 발해를 멸망시킨 사건을 심각한 안보 문제로 인식하였기 때문이다.
태조는 후손들에게 남긴 「훈요십조(訓要十條)」의 4조에서 거란을 금수(禽獸)의 나라로 거론하며 경계할 것을 지적하였는데, 이는 거란을 현실적인 위협 세력으로 인식하고 있었음을 뜻한다. 고려는 광종 대에 서북쪽으로 맹산 · 숙천 · 박천 · 문산 등 청천강 유역에, 동북쪽으로는 영흥 · 고원 등에 성을 쌓아 군사 시설을 갖추었으며, 또 광군(光軍) 30만을 두는 등 거란의 침입에 대비하였다.
고려와 거란의 대립은 송나라 건국 뒤에 좀 더 악화되었다. 중원으로 진출하려는 계획을 가진 거란의 입장에서는 배후에 위치한 고려의 존재가 부담으로 작용하였기 때문이다. 이에 거란은 983년과 984년에 소포령(蕭蒲寧)에게 고려 또는 송과 교류하던 압록강 하류의 여진을 평정하게 하고, 이어 986년에 발해의 후국인 정안국(定安國)을 공격하였으며, 991년에는 압록강 유역에 위구(威寇) · 내원(來遠) · 진화(振化)의 3책(柵)을 구축하며 고려를 압박하였다.
거란은 993년 10월에 소손녕(蕭遜寧)을 사령관으로 삼아 고려를 침범하였다. 소손녕은 신라의 땅에서 일어난 고려가 자신들의 소유지인 고구려 땅을 침식하고 있으며, 자신들의 국경에 접하여 있으면서도 바다 건너 송과 교류하고 있는 점을 영토 침범의 명분으로 삼았다.
고려 조정에서는 서경 이북의 땅을 거란에 내어 주자는 할지론(割地論)이 제기되기도 하였으나, 서희(徐熙) · 이지백(李知白) 등이 반대하자 성종(成宗)도 이에 동의하였다. 서희는 거란이 명분으로 삼은 영토 침범 문제는 고려가 고구려를 계승한 국가임을 분명히 한 후, 거란의 수도 가운데 하나인 동경(東京)도 고구려의 영토라는 점을 들어 반박하였다. 또한 송과의 교류 문제도 여진이 압록강 주변을 차지하고 있어 거란과의 교류를 방해했기 때문임을 거론하며 거란 침입의 명분에 조목조목 대응하였다.
이는 거란이 고려를 침입한 이유가 송과의 교류를 끊고 거란 자신들과의 교류로 대치하려는 의도를 서희가 간파하였기 때문이었다. 고려는 송과의 교류를 끊고 거란과 우호 관계를 맺겠다고 약속하며 거란 군대를 철수시켰는데, 고려는 이 전쟁에서 거란에 대해 형식적인 사대의 예를 취하는 대신 압록강 이동(以東)의 영토 획득이라는 실리를 획득하였다.
이후 고려는 거란에 사대의 예를 갖추었다. 하지만 송과의 통교를 단절하지는 않았다. 목종(穆宗) 대인 999년에는 거란에 위협받고 있는 상황을 송나라에 설명하였으며, 1003년에는 거란을 공격하기 위한 원병을 요청하는 등 비공식적인 외교를 지속하였다. 하지만 송나라가 1004년에 거란과 ‘전연(澶淵)의 맹약’을 맺으면서 고려의 요청은 받아들여지지 않았다.
거란은 고려가 여전히 송나라와 관계를 맺고 있음에 불만을 품고 1010년에 거란의 성종(聖宗)은 강조(康兆)가 목종을 살해한 사건을 명분으로 삼아 직접 군사를 이끌고 고려를 침략하였다. 여기에는 어머니인 승천황태후(昇天皇太后)의 사망 이후, 고려를 굴복시켜 자신의 위상을 강화하고자 하는 거란 성종의 의도가 크게 작용하였다. 거란의 전술에서 황제의 친정은 대상 국가를 정복하여 영토로 차지하거나 속국으로 만들려는 목적이 담겨 있는 것이었다.
거란은 1010년에 고려에 침입하여 993년보다 적극적인 공세를 취하며 압박하였다. 현종(顯宗)이 나주까지 피난을 가야 할 정도로 전쟁은 고려에 불리한 양상으로 전개되었다. 이에 고려는 현종의 친조를 거론하며 거란의 철수를 유도하였다.
거란의 입장에서는 눈이 많은 고려의 겨울이라는 계절 요인으로 전쟁을 지속하기 어려워졌을 뿐만 아니라, 후방에서 펼쳐진 고려군의 반격으로 위협이 증가하자 퇴각을 선택할 수밖에 없었다. 퇴각 과정에서 고려의 공격을 받은 거란군은 많은 피해를 입었는데, 『송사』에는 고려가 여진과 함께 거란군을 공격하여 다 죽였다고 표현할 정도로 거란은 큰 타격을 입었다.
친정의 실패로 권위에 타격을 받은 거란 성종은 고려가 언급한 현종의 친조를 요구하며 압박하였다. 유목민족에게 친조란 완전한 복속을 뜻하는 것이었다. 따라서 고려가 이 요구를 수용한다면 외형적으로는 거란의 승리로 포장할 수 있고 이를 바탕으로 거란 성종의 위상을 강화할 수 있었기 때문이었다. 하지만 고려가 현종의 신병을 이유로 이를 거부하자 거란은 흥화와 통주 등의 6성을 돌려줄 것을 요구하였다. 명분을 확보하는 대신에 고려에 실질적인 불이익을 주는 방법으로 전략을 수정한 것이었다.
고려가 이를 거부한 것은 당연한 반응이었다. 이에 거란 성종은 1015년에 압록강 동쪽에 있는 고려 영토 일부를 점령하면서 고려를 압박하였다. 거란이 압록강 동쪽 지역을 점령한 것은 고려의 입장에서 압록강이라는 천혜의 방어막이 무력화된 것이다. 이는 언제든지 거란의 위협에 놓이게 되었다는 점에서 큰 위기의식을 불러일으켰다.
거란의 무력 도발이 언제 일어날지 모르는 상황이 되자, 고려 또한 거란의 사신을 억류하는 등 강경 대응을 선택하였다. 양측의 강경 대응은 결국 무력 충돌로 이어졌는데, 이 무력 충돌은 1019년 소배압(蕭排押)이 귀주(龜州)에서 참패할 때까지 지속되었다.
1018년 12월 거란의 소배압은 10만 대군을 거느리고 압록강을 건너 이듬해인 1019년 정월에 개경 100리 거리에 있는 신은현(新恩縣)까지 진격하였다. 하지만 고려의 방어에 막혀 퇴각을 해야만 했는데, 퇴각 도중에 귀주에서 강감찬(姜邯贊)이 거느린 고려군의 공격을 받아 겨우 수천 명밖에 돌아가지 못할 정도로 참패하고 말았다.
이 전투를 두고 거란 성종은 패배가 이보다 심한 적이 없었다고 하였고, 송나라의 신하 부필(富弼)은 고려가 거란군 20만 명을 살해하여 한 마리의 말과 한 척의 수레도 돌아가지 못했으며, 이후 거란이 고려를 두려워하여 공격하지 못하였다는 평가를 남기기도 하였다. 그만큼 고려가 일방적으로 승리하였음을 알려 준다.
고려가 거란과의 전쟁에서 승리할 수 있었던 데는 지형지물을 이용한 수성전(守城戰)과 들판을 깨끗이 비우는 청야전술(淸野戰術)을 펼쳐 거란군을 효과적으로 막았기 때문이다. 수성전은 거란 기마병이 갖는 속도전이라는 장점을 효과적으로 차단하였으며, 청야전술은 현지에서 식량과 마초를 자체 공급하는 타초곡(打草穀)을 하기 어렵게 만들어 군사 활동을 원활하게 수행할 수 없게 만들었던 것이다.
이후 거란이 고려와의 무력 충돌을 포기하고 화해를 요청하였다. 고려 또한 억류하였던 사신을 돌려보내고, 거란의 연호를 사용하였다. 이로써 양국 관계는 정상화되었다. 고려가 거란에 칭번납공(稱蕃納貢)이라는 형식을 제안함으로써 양국 관계는 외형적으로는 전쟁 이전의 상태로 돌아갔다.
하지만 거란의 입장에서는 완전한 항복을 뜻하는 고려 군주의 친조를 받아내지 못하였기 때문에 만족스러운 결과는 아니었다. 불만이 존재하였지만 그렇다고 해서 군사적으로 고려를 압도할 자신도 없었기 때문에 더 이상의 대규모 무력 충돌을 감행하지는 못하였다. 고려 또한 여러 차례의 전쟁으로 많은 피해를 입은 상황이어서 더 이상의 무력 충돌이 발생하는 것을 원하지 않아 양국의 충돌은 막을 내렸다.
이후 양국은 고려가 거란의 우위를 형식적으로 인정해 주는 선에서 평등에 가까운 관계를 유지하며 비교적 평화 관계를 이어갔다. 물론 그렇다고 해서 양국 간에 소소한 갈등이 없었던 것은 아니다. 여전히 압록강 동쪽에 있는 거란 점령지 문제는 남아 있었기 때문이다.
거란은 이 지역을 활용하여 고려를 효과적으로 제어하려는 의도를 가지고 있었다. 덕종(德宗) 대와 정종(定宗) 대에는 압록강 성교(城橋)와 성보(城堡), 문종(文宗) 대에는 궁구문란(弓口門欄)이나 탐수암(探戍庵) 또는 우정(郵亭) 등의 문제가 불거진 것도 그러한 이유에서였다.
고려는 거란이 이러한 시설들을 확충하여 군사시설을 확대하는 것은 안보를 위협하는 행위라고 보고 철거 및 반환을 거란에 지속적으로 요구하였다. 하지만 실효적 지배를 하고 있는 거란의 입장에서는 이들 시설이 군사적으로 매우 중요하여 고려에 돌려줄 이유가 없었다. 따라서 거란은 고려에 확답을 주지 않고 미온적인 태도를 유지하였다.
거란의 이러한 압박은 1068년에 고려가 송나라와 국교를 재개하면서 약화되었다. 국교를 다시 시작할 수 있었던 것은 고려와 송이 공통적으로 거란의 위협에 불안감을 느끼고 있었기 때문이다. 배후에서 거란을 견제해 줄 수 있는 대상이 필요했던 고려와 송은 거란의 방해에도 불구하고 교류를 성사시켰다. 이후 고려, 송, 거란 3국은 세력의 균형을 이루면서 영토 문제 등으로 인한 고려와 거란의 갈등은 더이상 불거지지 않았다.
예종(睿宗) 대에 들어서면서 양국 관계에 변화가 생겼다. 완안부 여진의 수령인 아쿠타(阿骨打)가 여진을 통일하고 1115년에 황제라 칭하고 금나라를 세울 정도로 급성장하면서 동북아시아의 정세가 급변했기 때문이다.
당시 고려는 거란에 사신을 보내며 외교 관계를 맺었지만 원병 요청은 에둘러 피했으며, 여진과도 외교 관계를 맺는 등거리 외교 정책을 펼치면서 국가의 안전을 도모하였다. 고려는 혼란을 이용하여 무력 사용 없이 내원과 포주를 귀속시키는 성과를 거두기도 하였다. 고려와 거란의 관계는 1125년에 천조제(天祚帝)가 여진에 생포되어 멸망하면서 끝을 맺었다.
고려와 거란 사이에는 무력 충돌과 이로 인한 갈등이 두드러지지만, 문화 교류도 있었다. 원효(元曉)의 『대승기신론소(大乘起信論疏)』가 거란에 전해져 반포되었으며, 거란의 대장경은 고려에 전해져 그 가운데 일부가 대각국사 의천(義天)의 속장경(續藏經) 간행에 영향을 미쳤다.
『고려사』를 보면, 거란이 1063년, 1099년, 1107년에 대장경을 고려에 보낸 기록이 있다. 또한 불교 자전이면서 일반인의 일용 자전으로도 가치가 큰 거란의 『용감수경(龍龕手鏡)』이 고려에 전해졌는데, 여기에 내용이 보태져 널리 유포되었다.
고려와 거란 사이에는 교역도 이루어졌다. 사무역의 대표적인 형태인 각장(榷場) 무역은 고려가 개설을 반대하여 사행 무역의 비중이 높았다. 고려의 대표적인 수출품은 금 · 은 · 동 등 광산물, 베와 비단등 포백류, 인삼, 차, 종이와 먹 등이었으며, 거란에서 들여온 수입품은 단사(丹絲)나 양(羊) 등이었다.