고려인들이 중국계 악장(樂章)이니 악부(樂府)니 하는 정악(正樂) 또는 아악(雅樂)에 대하여 자기네들의 노래, 즉 속악(俗樂) 또는 향악(鄕樂)의 노래 이름에다 별곡이란 말을 붙여 지은 데서 유래한 말이다.
혹은 중국의 것이나 우리의 것을 막론하고 본래 있었던 원곡에 대하여 별도로 새로이 지은 곡이란 뜻으로 별곡이란 말을 붙인 것으로 보기도 한다.
후자의 경우 <서경 西京>에 대하여 <서경별곡>, <만전춘 滿殿春>에 대하여 <만전춘 별사>, <사미인곡>에 대하여 <별사미인곡>이라 칭하고 있는 것에서 확인할 수 있다. 그러나 위의 두 경우는 모두 추론에 의한 견해일 뿐이다.
실제로 별곡이란 용어가 노래의 제목이 아닌 일반화된 개념으로 사용된 예는 고려 말기에 와서야 확인된다. 이제현(李齊賢)과 민사평(閔思平)이 소악부(小樂府)를 짓는 과정에서 일반화된 개념으로 사용한 ‘별곡’을 찾아볼 수 있다.
즉, 이들은 소악부라 하여 순 한시체의 악부시를 지을 때 그 대본이 되었던 우리말 노래를 별곡이라 칭하였던 것이다.
이로 보아 이들이 소악부의 대본으로 삼았던 <장암>·<거사련>·<제위보>·<사리화>·<오관산>·<정석가>·<안동자청>·<월정화> 등의 속악가사뿐 아니라 당시대에 유행하던 <탐라요 耽羅謠> 등 민요까지 포괄하는 개념으로 별곡이란 명칭을 사용하고 있음을 알 수 있다. 따라서 별곡은 위의 두 추론 중 전자에 가까운 개념이되 속악가사와 민요를 포괄하는 명칭으로 확정할 수 있다.
(1) 종 류
노래의 제목에 별곡이란 명칭이 붙은 것과 그렇지 않은 것으로 크게 나눌 수 있다. 또 장르상으로 볼 때 전자는 <한림별곡>·<죽계별곡> 등의 경기체가류와 <서경별곡>·<청산별곡> 등의 고려속요류 및 <관서별곡>·<관동별곡>(정철의 작품) 등의 가사류로 다시 세분할 수 있다. 후자는 <정석가>·<제위보> 등의 고려속요류와 <정과정곡> 등 사뇌가 계통의 속악가사 및 <탐라요> 등의 순수 민요 계통으로 다시 나눌 수 있다.
(2) 형 식
별곡의 전체 작품에 공통으로 존재하는 형식적 구조는 찾을 수 없다. 모든 역사적 장르가 각각의 독특한 형식을 가지며, 이러한 형식에 의해 특성화되고 소통되면서 문학사에 존재할 수 있다는 면에서 공통의 독특한 형식이 없는 별곡이란 개념은 장르 명칭이 될 수 없다.
즉, 별곡은 당대의 역사적 장르 명칭이 아니라 각각의 장르적 성향을 달리하는 가요군을 묶어 중국의 정악 혹은 악부 계통에 대응하는 우리 가요의 범칭이라는 의미를 가질 뿐이기 때문이다.
따라서, 별곡의 형식은 그 시대에 존재하는 우리말 노래 장르 가운데 어느 것을 선택하느냐에 따라 결정된다. 즉, 경기체가·속요·가사·사뇌가·민요 등의 다양한 형식을 보인다.
(3) 내 용
형식이 다양한 만큼 내용도 다양하다. 즉, 경기체가류의 별곡은 사물이나 경치를 나열, 서술하면서 사대부의 흥취와 득의에 찬 자신감을 노래했다.
속요 계통의 별곡은 내용이 다양하지만 대체로 남녀간의 사랑을 육감적이고 노골적으로 노래한 경우가 많다. 사뇌가 계통이나 민요 계통도 군신 혹은 남녀간에 얽힌 문제가 중심이되, 이따금 세태나 권력층의 부조리한 모습을 풍자한 내용도 보인다.
(4) 담당층
경기체가 계통의 별곡은 고려 후기의 한림제유(翰林諸儒)나 안축(安軸) 등과 같은 신진사인층(新進士人層)이나 이들의 맥을 이어 뒤에 조선 건국의 주역으로 등장한 사대부 계층이 창작하고 향유했다. 가사 계통의 별곡도 조선의 사대부 계층이 주류를 이루었다.
향가 계통은 고려의 문벌 귀족층에 의해 향유되었으며 속요 계통은 권문세족 계층이 각각 중심이 되었다. 민요 계통은 민중층이 그 담당층이었음은 말할 것도 없다. 이들은 각 계층의 미의식이나 세계관에 걸맞게 별곡을 역사적 장르로 향유, 발전시켜갔다.
(5) 역사적 변천
별곡은 처음에 사뇌가가 쇠퇴하고 새로운 속악 가사로서 속요와 경기체가가 등장하자 사뇌가의 잔존 형태를 잠시 보이다가 속요와 경기체가 두 양식의 모습을 왕성하게 보여주었다.
이 때문에 별곡을 <청산별곡>류의 속요 계통과 <한림별곡>류의 경기체가 계통을 묶은 범칭으로 보고 이 두 계통의 형식적·내용적 공통성을 추출하여 별곡이라는 하나의 장르로 통합해 보려는 견해도 있었다. 그러나 속요와 경기체가는 서로 통합될 수 없는 별개의 장르로서 그 담당층·세계관·미의식·형식적 구조를 달리하면서 독자적인 전개를 보였다.
조선시대로 넘어오면서 속요 계통의 별곡은 남녀상열지사(男女相悅之詞)라 하여 배격되었다. 이에 급격히 쇠퇴하고, 다만 경기체가 계통과 새로이 등장한 가사 계통의 별곡만이 사대부 계층에 의해 지속적으로 창작, 향유되었다.
조선 후기에 이르면 <상사별곡>에서 보는 바와 같이 서민 가사로 이어지게 된다. 민요 계통의 별곡은 초시대적인 보편적 의미를 가지며 고려시대 이래로 민중층에 의해 향유, 전승되었다.
(6) 미의식
경기체가 계통의 별곡은 관료로서의 사대부적 이상과 현실의 세계 사이의 조화를 바탕으로 한 미의식을 드러내었다. 혹은 사대부로서의 관료적 이상과 현실세계의 조화를 바탕으로 한 우아미를 핵심적 미의식으로 드러내기도 하였다.
속요 계통의 별곡은 부재하는 님, 가변적인 사랑을 영속화·보편화하려는 의지를 보이려 하나 그것을 용납하지 않는 현실 앞에 좌절하고 마는 비장미(悲壯美)를 중심 미의식으로 표출했다.
가사 계통의 별곡은 우아미를 구현함으로써 경기체가의 미의식을 보여준다. 사뇌가 및 민요 계통의 별곡은 비장미를 구현함으로써 속요의 미의식을 공유하고 있음을 보여주고 있다. 그러나 그 질적인 면에서는 약간의 차이를 드러낸다 할 것이다.