1119년(예종 14)에 처음 설치되었다. 예종은 당시 사학(私學)의 융성으로 위축된 관학을 진흥하기 위하여 교육개혁을 단행하였는데, 많은 학생을 수용할 수 있는 학사(學舍)를 설립하고 유학생(儒學生) 60명과 무학생(武學生) 17명을 입학시켜 이들의 교육과 국학의 재정적 뒷받침을 위하여 국학 안에 양현고를 설립하였다.
처음에는 2인의 판관(判官)을 두어 관리하게 하였으나, 1243년(고종 30)에는 4인을 두어 2인은 양현고에 속한 토지가 있는 곳으로 파견, 세를 거두어 운반하도록 하고 2인은 양현고에 남아 있으면서 이를 관리하도록 하였다.
그 뒤 고려 말에 와서 국학이 쇠퇴하고 양현고의 재원도 고갈되자 안향(安珦)은 섬학전(贍學錢)을 만들어 양현고에 귀속시켜 교육진흥을 꾀하였다. 또한, 1308년(충렬왕 34)에 은 50근을 양현고에 하사하기도 하였다.