1567년(명종 22)에 지방 유림의 공의로 김종직(金宗直)의 학문과 덕행을 추모하기 위하여 중동면 자씨산(慈氏山) 아래에 덕성서원(德城書院)을 창건하여 위패를 모셨다. 임진왜란 때 소실되어 1606년(선조 39)에 복원하였다. 1634년(인조 12) 지금의 밀양시 상남면 예림리로 이건하였고, 서원 명칭을 예림서원으로 바꾸었으며, 박한주(朴漢柱)와 신계성(申季誠)을 추가 배향(配享)하였다. 이후 1680년(숙종 6) 지금의 밀양시 부북면 후사포리로 다시 이건되어 보존되어 오고 있다.
1669년(현종 10)에 ‘예림’이라고 사액(賜額)되어 선현 배향과 지방 교육의 일익을 담당하였다. 1868년(고종 5)에 대원군의 서원 철폐로 훼철(毁撤)되었다가 1874년에 강당을 복구하고 예림재로 개편하였으며, 1921년 향중(鄕中: 향원들의 동아리)유림이 사우(祠宇) 유지(遺址)에 설단(設壇)하고 향사(享祀: 제사)를 실시해왔다.
1962년에 서재를 건립하고 1971년 정부 보조로 강당을 중수하였다. 1974년에 육덕사(育德祠)와 정양문을 복원하고, 1975년 복원 고유(告由: 큰 일이 있을 때 사당 또는 종묘에 고하는 일)를 거행하였으며, 1985년부터 대대적인 복원공사를 시작하여 1987년 완공하였다.
경내의 건물로는 3칸의 육덕사, 3칸의 강당, 각 3칸의 돈선재(敦善齋)와 직방재(直方齋), 2칸의 전사청(典祀廳), 몽양재(蒙養齋) · 독서루(讀書樓) · 삼문(三門) · 고사(庫舍) 등이 있다.
묘우(廟宇)인 육덕사에는 김종직을 주벽(主壁)으로 양쪽에 박한주와 신계성의 위패가 봉안되어 있다. 강당은 중앙의 마루와 양쪽 협실로 되어 있는데, 원내의 여러 행사와 유림의 회합 및 학문 강론 장소로 사용되고 있다. 돈선재와 직방재는 동재(東齋)와 서재(西齋)로, 수학하는 유생들이 거처하는 곳이며, 전사청은 향사(享祀: 제사) 때 제수(祭需)를 마련해 두는 곳이다.
이 서원은 1974년 경상남도 유형문화재(현, 유형문화유산)로 지정되었으며, 매년 3월 상정(上丁: 첫 번째 丁日)과 9월 상정에 향사를 지내고 있으며, 제품(祭品: 제사 음식)은 4변(籩) 4두(豆)이며, 재산은 전답 5,500평, 대지 500평 등이 있다.