태봉 때의 식화부(植貨府)가 고려의 내원서(內園署)로 바뀌고, 조선 건국 초에 동산색(東山色)·상림원(上林園)이라고 불렀다. 1466년(세조 12) 1월에 장원서로 개정되었다.
관원으로는 조선 전기 『경국대전』에는 제조(提調) 1인, 별제(別提) 3인, 장원(掌苑) 1인이 있었다. 제조는 종2품 이상의 관원이 예겸했다. 별제 3인은 정·종6품의 무록관(無祿官)이었다. 그리고 장원은 정6품의 유록관(有祿官)이었다.
조선 후기에는 제조 1인을 늘리고 새로 종8품의 봉사(奉事) 1인을 설치한 대신, 장원을 없애고 별제 1인을 감원하였다. 이 밖에 장원서에 소속된 이서(吏胥)와 도례(徒隷)는 서원(書員) 5인, 고직(庫直) 1인, 대청직(大廳直) 1인, 대청군사 1인, 사령(使令) 4인, 역인(役人) 12인 등이 있었다.
장원서는 크게 과원색(果園色)·생과색(生果色)·건과색(乾果色)·작미색(作米色)·장무색(掌務色)으로 구분했다. 과원색은 장원서 소속의 각종 과목과 화초를 재배하는 일을 관장했다. 재배할 과목과 화초는 각 처의 동산직(東山直)이 골라서 받아들이도록 했다.
생과색은 배·밤·은행·석류·유자 등의 생과를 종묘의 각 실에 천신(薦新 : 새로 나는 물건을 먼저 神位에 올리는 일)하고, 각종 탄일(誕日)과 절일(節日)에 진상하는 일을 관장하였다. 건과색은 곶감·호두·잣·대추·황률 등의 건과를 진배(進排)하는 일을 맡았다.
작미색은 장원서에 공납된 미곡의 사용을 담당했다. 조선 후기 장원서에 할당된 공납 미곡은 총 90석 1두9승이었다. 관원과 이서·도례 등의 요미(料米)와 공인(貢人)의 책응(策應)에 사용되는 67석 12두를 제외한 22석 4두 9승만을 장원서에서 사용했다. 장무색은 장원서의 서무를 담당하였다.
1882년(고종 19) 쓸모없는 관청을 혁파할 때 사도시(司䆃寺)·내섬시(內贍寺)·내자시(內資寺)·사재감(司宰監)·의영고(義盈庫)·사포서(司圃署) 등과 함께 장원서를 혁파하였다. 이 때 장원서가 맡고 있던 제향 물품의 수납은 봉상시(奉常寺)가 관장하도록 하였다.