고려시대의 서연관에 대해서는 그 직제만 겨우 알 수 있다. 또, 고려 말에 경연이 서연으로 격하됨에 따라, 서연관도 왕의 교육을 담당하던 관리들을 일컫는 말이 되었다.
조선시대의 서연관은 왕세자의 교육을 맡았던 세자시강원의 관리들로서, 당상관과 당하관으로 구분된다. 당상관은 모두 겸관(兼官)인데, 1품관인 사(師)·부(傅)·이사(貳師)는 의정부의 3정승 내지 찬성이 겸직하여 세자의 교육을 감독하였다. 2품관인 빈객(賓客)과 부빈객은 강의를 담당하기도 하였다.
당하관 즉 낭청(郎廳)은 모두 녹관(祿官)인데, 보덕(輔德, 종3품)·필선(弼善, 정4품)·문학(文學, 정5품)·사서(司書, 정6품)·설서(說書, 정7품) 등 약 10인이 강의를 전담하였고, 필요하면 겸관을 더 두기도 하였다. 조선 후기는 찬선(贊善, 정3품)·진선(進善, 정4품) 등 서연관 7, 8인을 증설하였다.
서연관은 문과급제자 가운데서 학문과 덕망이 뛰어난 사람들을 선발하여 임명하였다. 이들은 대개 오랫동안 세자를 가르쳤으므로, 뒤에 그 세자가 왕위에 오르면 이들의 정치적 영향력도 증대하였다.